大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
应用场景
文件存储 HDFS 版 适用于对吞吐要求较高的大数据分析与机器学习的业务需求场景。大数据分析与机器学习 在大数据分析与机器学习场景中，应用对数据访问的吞吐性能和延迟有较高要求。而 文件存储 HDFS 版 能够提供高吞吐量和低延迟的访问能力...
Spark计算引擎
Spark打造的服务化的大数据分析与计算服务，开通 AnalyticDB MySQL 服务后只需简单的配置，就可以提交Spark作业，无需关心Spark集群部署。方案架构图如下所示：Serverless Spark将Spark、Serverless和云原生技术深度整合到一起，相对于传统...
Serverless Spark概述
解决方案 Serverless Spark是云原生数据湖团队基于Apache Spark打造的服务化的大数据分析与计算服务。方案架构图如下所示： Serverless Spark将Spark、Serverless、云原生技术，深度整合到一起，相对于传统开源Spark集群版方案，具体以下...
文件存储HDFS版
适用于对吞吐要求较高的大数据分析与机器学习业务场景。文件存储HDFS版能够提供高吞吐量和低延迟的访问能力，无需将数据迁移到计算资源本地。您将数据存入文件存储HDFS版后，ECS实例或其他计算资源即可直接访问这些数据。将Hadoop或其他...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
附录一：运维服务产品清单
数据库 关系型数据库 rds 大数据 数据可视化 DataV数据可视化 datav 大数据 数据开发 DataWorks dide 安全 数据安全 数据库审计 dbaudit 云计算基础 视频与CDN CDN cdn 云计算基础 视频与CDN 视频点播 vod 云计算基础 视频与CDN 媒体处理 ...
数据分析整体趋势
Hadoop也在早期的MapReduce接口基础上增加了SQL接口，SQL语法逐渐成为大数据分析系统的标准配置。随着AWS，Azure，Alibaba，Google等云厂商的出现，云原生分布式数据仓库成为目前数据分析技术的主要解决方案，代表性云服务包括Amazon ...
Quick BI如何接入TSDB
BI是一个基于云计算致力于大数据高效分析与展现的轻量级自助BI工具服务平台。通过对数据源的连接和数据集的创建，对数据进行即时的分析与查询；通过电子表格或仪表板功能，以拖拽的方式进行数据的可视化呈现。连入成功后，您可以在Quick BI...
基于混合负载的查询优化
传统数仓方案，通过组合多套数据库与大数据产品，利用各自不同的优势来解决不同的分析场景，带来的问题就是整个数据冗余，同时管理多个异构系统的代价。完备数据仓库，首要解决的问题包括：如何更好的支持数据库场景下的交互式分析以及大...
应用场景
大数据存储与分析 传统的数据分析场景下，用户需要把数据从在线数据库（Operational Database）复制到离线数据仓库（Data Warehouse）上之后再进行数据分析，这需要海量数据的多次复制、传输、加载和存储等多方面工作。HybridDB for MySQL...
产品架构
本文介绍了表格存储（Tablestore）的系统架构和典型应用架构。系统架构 表格存储的架构...在物联网架构中，表格存储作为IoT基础设施中的统一数据存储平台来存储物联网平台相关的时序数据、元数据、消息数据等，并提供丰富的数据分析处理能力。
服务等级协议
阿里云Databricks数据洞察服务等级协议 大数据搜索与分析 Quick BI服务等级协议 日志服务（SLS）服务等级协议 日志服务（SLS）服务等级协议（本地地域版）阿里云智能开放搜索-召回引擎版/向量检索版服务等级协议 Elasticsearch服务等级协议...
如何对JSON类型进行高效分析
IMCI列式JSON、虚拟列、秒级加减列与表列数扩展等技术点，最后给出 PolarDB IMCI列式JSON实时分析与扩展流计算解决方案。方案 业务系统采用JSON类型主要由于半结构化数据的灵活性和高效分析的需求，因此，灵活性与高性能就成为衡量海量半...
Github实时数据同步与分析
实时数据分析与可视化 实时数据分析。进入 HoloWeb SQL编辑器 查询实时更新的过去24小时GitHub最活跃项目。SELECT repo_name,COUNT(*)AS events FROM hologres_dataset_github_event.hologres_github_event WHERE created_at>=now()- ...
版本历史
默认度量降序：符合用户的看数习惯，直观快速获取重点数据。数据标签 全量显示导致数据标签超出显示不全。标签排列无规则。智能显示数据标签，不会产生标签遮挡和重叠。标签按照扇区面积的大小显示，由第一象限起，顺时针呈现，保证重点...
在大数据平台中集成Tair
本文介绍如何在不同大数据分析平台中接入 云原生内存数据库Tair。常见大数据分析平台集成 Tair 的方法如下： 大数据开发治理平台DataWorks：请参见 配置Redis Writer插件。说明 Tair 完全兼容Redis，您可以参考该文档配置 Tair 实例信息，...
大数据型
大数据型实例规格族适合有大数据计算与存储分析需求的行业客户，例如互联网行业、金融行业等。同时，结合以Hadoop为代表的分布式计算业务的高可用架构，大数据型实例采用本地存储的设计，保证海量存储空间、高存储性能。大数据实例具有以下...
【活动/调价】RDS备份下载功能即将商业化
云数据库RDS备份下载功能即将升级，并针对超出免费...支持将快照备份或物理备份转换成其他逻辑备份格式，例如SQL、CSV、Parquet，满足测试、离线数据分析与统计、大数据分析等多种对数据格式有不同需求的场景。支持下载转换后的逻辑备份文件。
【通知】RDS备份下载功能即将商业化
云数据库RDS备份下载功能即将升级，并针对超出免费...支持将快照备份或物理备份转换成其他逻辑备份格式，例如SQL、CSV、Parquet，满足测试、离线数据分析与统计、大数据分析等多种对数据格式有不同需求的场景。支持下载转换后的逻辑备份文件。
【活动/调价】RDS备份下载功能即将商业化
云数据库RDS备份下载功能即将升级，并针对超出免费...支持将快照备份或物理备份转换成其他逻辑备份格式，例如SQL、CSV、Parquet，满足测试、离线数据分析与统计、大数据分析等多种对数据格式有不同需求的场景。支持下载转换后的逻辑备份文件。
数据库中的数据离线同步至Hologres
Hologres是一款实时交互式分析产品，与大数据生态无缝打通，与大数据智能研发平台DataWorks深度融合。您可以通过DataWorks数据集成同步将数据库中的数据离线同步至Hologres，再进行高并发低延时的查询分析处理。常见的支持离线数据同步的...
概述
如果您的业务采用MySQL数据库，随着业务的发展，大数据分析场景逐渐增多，而MySQL数据库进行大数据分析需要结合流式组件、存储系统、计算组件等工具，操作复杂且难度大，您可以选择将MySQL数据库迁移到表格存储中实现大数据分析。...
计算与分析概述
通过实时计算Flink访问表格存储中的源表、维表或者结果表，实现大数据实时计算与分析。表格存储SQL查询 使用SQL查询 SQL查询为多数据引擎提供统一的访问接口。通过SQL查询功能，您可以对表格存储中数据进行复杂的查询和高效的分析。计费 ...
方案背景
本文介绍了表格存储结合实时计算Flink实现大数据分析的样例场景、架构设计等。背景信息 云数据库RDS MySQL基于阿里巴巴的MySQL源码分支，经过双十一高并发、大数据量的考验，拥有优良的性能。RDS MySQL支持实例管理、账号管理、数据库管理...
快速入门
根据业务需求，连接宽表引擎或时序引擎：使用非结构化数据分析与处理功能： 通过Lindorm-cli连接并使用Lindorm宽表引擎。使用时序数据分析与处理功能：通过Lindorm-cli连接并使用Lindorm时序引擎。创建模型。查看已创建的模型状态是否已...
Quick BI连接MaxCompute
BI是一个专为云上用户量身打造的易上手、性能强的大数据分析及可视化平台，可以让每个人都能成为数据分析师。Quick BI不仅是业务人员查看数据的工具，更是数据化运营的助推器。更多Quick BI信息，请参见 Quick BI。前提条件 在执行操作前，...
存储类型
互联网行业、金融行业等有大数据计算与存储分析需求的行业，进行海量数据存储和离线计算的业务场景。宽表引擎、时序引擎、搜索引擎、文件引擎 说明 购买实例时，如果 存储类型 选择 本地HDD盘，则不支持选择数据引擎的节点规格，仅支持选择...
实时同步数据库的数据至Hologres
Hologres是实时交互式分析产品，与大数据生态无缝打通，深度集成智能研发平台DataWorks，支持高并发和低延时地查询分析数据。您可以通过DataWorks数据集成同步将数据库中的数据实时同步至Hologres，再进行高并发低延时的查询分析处理。常见...
面临的业务挑战
传统的批处理模式往往有数小时甚至数天的延迟，不能满足T+0的业务需要，用户要求在秒级，甚至毫秒级完成对海量数据分析。系统极复杂 大数据平台普遍存在使用复杂的问题。用户希望专注于核心业务，而非底层技术。用户希望使用的是“开箱即用...
什么是表格存储
适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、毫秒级的在线数据查询和检索以及灵活的数据分析能力。基本概念 在使用表格存储前，您需要了解以下基本概念。术语 说明 地域 地域...
典型场景
大数据分析平台 对于MaxCompute、Hadoop和Spark中保存的海量数据，可通过采用数据集成服务（DataX）或通过对象存储服务（OSS），快速批量导入到 云原生数据仓库AnalyticDB PostgreSQL版，帮助您实现高性能分析处理和在线数据探索。数据湖...
Spark概述
Spark是一个通用的大数据分析引擎，具有高性能、易用和普遍性等特点。架构 Spark架构如下图所示，基于Spark Core构建了Spark SQL、Spark Streaming、MLlib和Graphx四个主要编程库，分别用于离线ETL（Extract-Transform-Load）、在线数据...
ActionTrail日志清洗
以操作DLA的账号为例，该账号下每天会产生几千个数据文件，一个月的文件数将达到几十万个，大量的数据文件对大数据分析非常不便，分析数据耗时，且需要足够大的集群资源才能进行大数据分析。前提条件 使用ActionTrail日志清洗之前，您需要...
开通指南
前提条件 使用非结构化数据分析与处理功能，需满足以下条件：已开通宽表引擎。已开通S3协议兼容功能。如何开通，请参见 开通S3协议兼容功能。使用时序数据分析与处理功能，请确保已开通时序引擎。注意事项 AI引擎开通过程中，Lindorm实例的...
物联网设备数据上云存储
业务基于 TSDB 进行数据分析、监控和大数据分析。物联网平台规则引擎 物联网设备基于消息 Topic 进行通信，使用规则引擎对 Topic 中的数据进行处理然后转发到 TSDB。只需要在规则引擎中配置一些简单的规则，就可以将设备数据存储到指定的...
AnalyticDB MySQL助力Flowerplus业务高速发展
由此可见，Flowerplus对大数据分析的实时性要求较高，而传统的MySQL数据库无法满足这一需求。复杂数据查询性能 使用传统MySQL数据库对订单、商品流量、采购、业务转化率以及商品售罄报警等分析时速度较慢，数据达到千万级或者亿级时，复杂...
公交出行：启迪公交
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务...实时和汇总大数据分析系统，支持公交领导产生更加快速有效的业务决策。
数据分析场景实践
数据分析与分享：以典型的排序分析和透视分析为例，示例web excel的线上数据分析能力与操作入口。环境准备 本实践以使用同一地域的MaxCompute和DataWorks进行数据查询与分析为例，在进行实践操作前，您需提前通同一地域的MaxCompute与...
创建实例
适用于互联网行业、金融行业等有大数据计算与存储分析需求的行业，进行海量数据存储和离线计算的业务场景。选择数据引擎 包括宽表引擎、时序引擎、搜索引擎、文件引擎和流引擎。您可以根据实际业务需求选购数据引擎的节点规格和数量，具体...
- 产品推荐
- 这些文档可能帮助您