大数据与数据分析-大数据与数据分析文档介绍内容-阿里云

JindoCache概述

大数据分析（Hive/Spark 报表）：减少报表生成时间，优化计算集群成本。湖仓一体：减少请求费用，优化数据目录（catalog）的响应延迟。AI：加速训练等场景，降低AI集群使用成本，提供更全面的能力支持。缓存策略 JindoCache支持数据缓存...

自建数据源Kylin

BI支持对接自建Kylin数据库进行数据分析与展示，Kylin是mPaaS H5容器的无线前端解决方案，具有高效的运行时、一致的开发体验、丰富的研发支撑、完善的UI组件等诸多优点，解决移动Hybrid开发中遇到的前端打包、浏览器兼容性、Mock接口等问题...

读写RDS MySQL数据

因为RDS本身能承载的数据量有限，不适合大数据分析。更多的场景是在DLA中对存储在OSS、Tablestore中的大数据进行分析，分析完成之后把结果数据回写到RDS中，供前台业务使用。DLA如何读取OSS中的数据，请参见操作步骤。以 person 表为例，...

什么是开放平台

目标是把人工智能与大数据技术接入到传统的生产线中，帮助生产企业实现数据流、生产流与控制流的协同，提高生产效率，降低生产成本，以自主可控的路径实现自主可控的智能制造，解决工业智能制造的核心问题，加速推动工业新基建建设。...

应用场景

而智能质检通过对客服的通话记录识别成文本进行大数据分析，可以极大的提高质检覆盖率（达到100%），并减少人工成本。保险行业在保险行业中，阿里云智能质检凭借强大的技术实力，迅速在行业中树立起标杆客户；例如：平安产险的金牌话术...

数据上云场景

MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移您可使用MMA、Sqoop和DataWorks进行Hadoop数据迁移。...海量日志数据分析与应用。

背景信息以及准备工作

DLA作为无服务化的大数据分析服务，通过标准的SQL语句直接对存储在阿里云对象存储服务（Object Storage Service，简称 OSS）、表格存储（Table Store）中的数据进行清洗。例如，使用DLA对OSS中的历史数据按天进行清洗。DataWorks是基于...

冷热分层

结构化大数据分析平台设计、面向海量数据的极致成本优化-云HBase的一体化冷热分离和云上如何做冷热数据分离。冷热数据数据按照实际访问的频率可以分为热数据、温数据和冷数据。其中冷数据的数据量较大，很少被访问，甚至整个生命周期都...

类型转换函数

如果您在查询与分析数据时需要区分更细维度的数据类型，您可以在查询与分析语句中使用类型转换函数转换数据的数据类型。函数名称语法说明 cast函数 cast(x as type)转换 x 的数据类型。使用cast函数转换数据类型时，如果某个值转换失败，...

存储类型概述

适用于各种社交、分享类的图片、音视频应用、大型网站、大数据分析等业务场景。提供标准存储-本地冗余（LRS）和标准存储-同城冗余（ZRS）两种数据冗余存储方式。标准存储-本地冗余（LRS）采用单可用区（AZ）内的数据冗余存储机制，将用户...

2019年

Spark生态对接支持数据分析功能，可接入至X-Pack Spark节点进行大数据分析。2019-04-10 全部 Spark对接MongoDB快速入门 2019年03月功能名称功能描述发布时间发布地域相关文档单库备份或恢复支持单库级别的物理备份和恢复，常规状态...

Quick BI v4.1.1.1版本说明

变更内容数据加工与可视化面板分流，兼顾数据分析与报表搭建。仪表板级别的字段处理能力，让可视化的分析能力更上一层楼。新建计算字段新建分组字段新建维度组维度度量相互转换更高效的可视化字段属性编辑。图表字段批量配置格式，...

将事件持续投递到指定服务

MaxCompute为您提供多种经典的分布式计算模型，帮助您轻松完成大数据分析。推荐您创建跟踪，将事件投递到日志服务SLS，再通过SLS将数据导出到MaxCompute进行分析。场景四：低成本分析和永久存储事件当您需要同时对事件进行实时分析和永久...

通过Flink读写AnalyticDB PostgreSQL数据

Flink构建的⼀站式实时大数据分析平台，内置丰富上下游连接器，满足不同业务场景的需求，提供高效、灵活的实时计算服务。通过实时计算Flink版读取AnalyticDB PostgreSQL版数据，可以充分发挥云原生数据仓库的优势，提高数据分析的效率和...

功能特性

数据富化：对日志（例如订单日志）和维表（例如用户信息表）进行字段连接（JOIN），为日志添加更多维度的信息，用于数据分析。数据流转：通过全球加速功能将海外地域的日志传输到中心地域，实现全球日志集中化管理。数据脱敏：对数据中包含...

支持集成KMS加密的云产品

数据加密 大数据与人工智能服务名称描述相关文档 大数据计算MaxCompute MaxCompute支持使用服务密钥或者自选KMS密钥进行数据加密。数据加密机器学习PAI 机器学习PAI产品架构中，计算引擎、容器服务、数据存储等各个数据流转环节，相应...

数据卷概述

大数据分析场景 NAS提供了较高的数据吞吐能力，能满足大批量作业对共享存储访问的需求。Web应用场景为Web应用、内容管理系统提供存储支撑。保存日志场景如果您希望将日志持久化存储，推荐使用NAS数据卷。支持支持 OSS OSS是阿里云提供的...

基于OSS+MaxCompute构建数据仓库

通过MaxCompute对OSS上的海量数据进行分析，将您的大数据分析工作效率提升至分钟级，帮助您更高效、更低成本的挖掘海量数据价值。前提条件已开通OSS服务，并已创建Bucket。开通OSS服务请参见开通OSS服务。创建Bucket请参见创建Bucket。...

通过Flink读写云原生数据仓库AnalyticDB PostgreSQL版...

Flink构建的⼀站式实时大数据分析平台，内置丰富上下游连接器，满足不同业务场景的需求，提供高效、灵活的实时计算服务。通过实时计算Flink版读取AnalyticDB PostgreSQL版数据，可以充分发挥云原生数据仓库的优势，提高数据分析的效率和...

什么是物联网平台

提供可视化开发、业务逻辑开发与数据分析等一系列便捷的物联网开发工具，帮助您高效经济地完成物联网数据分析，设备、服务及应用开发，加速物联网SaaS构建。物联网视频服务提供视频流上云、存储、转发、播放、AI计算等服务，帮助视频设备...

漏斗留存函数

漏斗分析被广泛应用在用户行为分析和App数据分析的场景，例如流量分析、产品目标转化率等数据运营与数据分析任务。AnalyticDB MySQL支持的漏斗留存函数如下：window_funnel：用于在滑动的时间窗口中搜索事件列表并计算事件列表中发生的最大...

简介

系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...

快速使用TPC-DS测试数据集

TPC-DS是一套决策支持系统测试基准，提供99个SQL查询（SQL99或2003），分析数据量大，测试数据与实际商业数据高度相似，同时具有各种业务模型（分析报告型，数据挖掘型等等）。使用DLF数据探索，可以便捷地快速创建TPC-DS数据集，便于用户...

Kafka通过DataWorks实时同步

Hologres与大数据生态无缝打通，与大数据智能研发平台DataWorks深度融合，您可以通过DataWorks数据集成将Kafka数据实时同步至Hologres，再进行高并发低延时的查询分析处理。相关原理请参见 Kafka Reader 和 Hologres Writer。单表实时同步 ...

后续指引

开发与分析 数据类型 MaxCompute支持三种数据类型版本，为您介绍各版本支持的数据类型、适用场景及各版本间的差异，避免开发过程中出现数据类型无法解析问题。介绍：数据类型常见问题：数据类型常见问题常用命令提供开发过程中的针对表...

概述

与本地数据分析相比，在线数据分析的优势如下：海量：借助计算引擎的能力，可以高效分析全量、海量的数据。流动：在线数据分析可以从不同数据源获取数据进行查询和分析，并将分析结果分享至指定成员。安全：您无需下载数据至本地，即可在线...

RDS搭配大数据计算服务实现大规模数据计算

开放数据处理服务又称为大数据计算服务（MaxCompute，原名ODPS），可服务于批量结构化数据的存储和计算，提供海量数据仓库解决方案以及针对大数据的分析建模服务。通过数据集成服务，可将RDS数据导入MaxCompute，实现大规模的数据计算，如...

移动数据分析的审计事件

移动数据分析已与操作审计服务集成，您可以在操作审计中查询用户操作移动数据分析产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户...

如何选择文件引擎规格

存储规格选择当您选择Lindorm文件引擎作为大数据、数据湖的底层存储时，推荐您选用容量型云存储类型。Lindorm存储以预留空间方式计费，需要确保LindormDFS的预留存储空间超出您的最大使用空间10%以上说明容量型存储在保持低成本的...

功能发布记录（2023）

基于大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等），通过DataWorks与MaxCompute快速完成TB级别大数据分析。2023.4.11 所有地域所有DataWorks用户 SQL查询 2023-3 功能名称功能描述发布时间发布地域使用客户相关文档 ...

MaxFrame概述

为满足用户基于MaxCompute进行大规模数据处理、分析及数据挖掘的需求，MaxCompute提供了一套Python开发生态，通过统一的Python编程接口完成数据分析、处理及挖掘、建模全生命周期。MaxFrame是由阿里云自研的分布式计算框架，提供了一套兼容...

数据查询与分析管控

DataWorks支持对查询结果进行展示、复制、下载、分享等操作，并设置数据分析模块中针对该类操作的管控策略，保障数据的操作安全。具体管控能力说明如下。默认权限对查询结果相关操作的权限管控能力所有用户均拥有展示、复制、下载、分享...

服务条款

如因用户使用移动数据分析服务时遭遇计算机病毒、网络入侵和攻击破坏（包括但不限于DDoS）等危害网络安全事项或行为，而该等行为给阿里云数据及/或移动数据分析服务带来危害，或影响阿里云及/或移动数据分析服务与国际互联网或者阿里云及/...

引擎简介

大数据场景：海量数据存储与分析 广告场景：海量广告营销数据的实时存储金融&零售：海量订单记录与风控数据的实时存储车联网：车辆轨迹与状况数据的高效存储处理互联网社交：高效、稳定的社交Feed流信息存储访问方式通过Lindorm宽表...

数据传输与迁移概述

数据分析汇总与可视化展现。典型场景。类型典型场景数仓管理员对数据进行预览 DataWorks-数据分析、数据管理、数据开发调度（数据通道）。Kettle。商业智能，制作报表，看板 Quick BI。Superset。离线数据批量数据读取（外部表-湖仓一体...

分享维表

在数据分析页面的左侧菜单栏，单击图标进入维表页面。在维表页面，单击全部维表下相应的文件名，进入维表的编辑页面。在维表的编辑页面，单击右上方的分享，设置相应的分享方式。您可以通过以下方式分享维表：通过链接分享：指定...

云数据源Alibaba LindormTSDB

BI上进行数据的分析与展示。Quick BI支持以公网连接阿里云数据库LindormTSDB，本文为您介绍如何添加阿里云LindormTSDB数据源。前提条件已创建阿里云数据库实例。背景信息如果您使用的是阿里云数据库LindormTSDB，在对接Quick BI进行数据...

通过Quick BI连接StarRocks实例

BI上进行数据的分析与展示。本文为您介绍如何通过Quick&BI连接StarRocks实例。背景信息 Quick& BI是由阿里云提供的一款全场景数据消费式的BI平台，无缝对接各类云上数据库和自建数据库，大幅提升数据分析和报表开发效率。您只需在Quick BI...

云数据源Data Lake Analytics

BI上进行数据的分析与展示。Quick BI支持以公网连接阿里云Data Lake Analytics，本文为您介绍如何添加阿里云Data Lake Analytics数据源。前提条件已创建阿里云Data Lake Analytics数据库。已获取Data Lake Analytics数据库的用户名和密码...

大数据与数据分析

新品推荐