云原生数据湖分析

播放视频

云原生数据湖分析(Data Lake Analytics，简称数据湖分析) 采用弹性架构，提供一站式的数据湖分析与计算服务，支持 ETL、机器学习、流、交互式分析；可以分析与集成对象存储(OSS)、RDS(MySQL等)、NoSQL(MongoDB等)数据源；功能包括数据入湖，元数据管理与自动发现，支持双引擎：Presto、Spark。

云原生数据湖分析（DLA）产品退市公告

AnalyticDB数据分析训练营 ADB湖仓版免费试用了解AnalyticDB MySQL 购买AnalyticDB MySQL

产品优势

兼容Presto、Spark

兼容开源Presto、Spark的语法和多个版本，快速上手。

开箱即用

Serverless形态，无需购买任何资源，互联网直接访问，降低运维成本，免去大数据库系统构建烦扰。

多源数据实时入湖

OSS数据直接分析，构建大规模分析数据集，延迟大约为10分钟。

海量算力即时扩容

集群按需快速扩展，1分钟最快弹出300个节点，灵活应对业务变化。

产品功能

丰富的产品系列，全面覆盖多种场景需求采用Serverless形态，支持Presto和Spark两种引擎，集群分钟级弹性扩缩容，相比线下部署机房成本更低

Serverless形态数据湖分析采用Serverless形态，无基础设施和管理成本，互联网直接访问，开箱即用，按需付费，不需要长期持有分析成本，升级期间对业务影响小，产品迭代敏捷快速。

Presto引擎Presto引擎是数据湖分析基于Presto打造的交互式分析引擎，接入MySQL协议，可使用任何兼容MySQL协议的工具来进行数据分析，适合Adhoc查询、BI分析、轻量级ETL等数据分析场景。

Spark引擎Spark引擎是基于开源Spark打造的服务化的大数据分析与计算服务，兼容开源Spark语法、所有的API和多个版本，支持SQL语言和DataFrame代码。适合大量数据清洗，Streaming，编写Java、Scala、Python等SQL难表达的场景。

灵活的计费方式，满足不同成本需求CU时资源包、CU版本同时支持Presto与Spark引擎，扫描量版本仅支持Presto引擎

CU时资源包采用按量付费+资源包的付费模式，适用于业务量波动较大且频繁场景。用资源包抵扣数据湖分析所有按量付费实例（Presto和Spark引擎实例）消费，使用期间按量付费实例灵活升降配，不用考虑升配后剩余预付费时长的差价，资源包不使用不抵扣，相比包年包月和按量付费更灵活易用，性价比高。了解详情>

CU版本支持数据湖分析Presto和Spark引擎实例，适用于查询频率高、查询数据量较大的场景。按CPU和内存规格进行收费，如1核4GB为1CU，单价为0.35元/小时。支持包年包月和按量付费两种计费模式。了解详情>

扫描量版本仅支持数据湖分析Presto引擎实例，适用于查询频率低、查询数据量较小的场景。按扫描的字节（Byte）进行收费，如扫描每TB数据的费用为28元。支持流量包（包年包月）和按扫描量付费（按量付费）两种计费模式。了解详情>

多项企业级能力，涵盖各类业务需求拥有优越弹性，支持元数据发现，支持多源一键数据实时入湖分析等功能，直接使用SQL即可分析OSS等数十种源数据

优越弹性数据湖分析Spark引擎支持Job级别的弹性，可设置长期保有资源(MIN)、弹性资源上限（MAX），MIN最小为0，实例可自动根据业务波峰波谷在MIN 与 MAX 之间弹性扩缩容，无需提前预留资源，降低成本的同时保持业务稳定运行；同时支持秒级拉起，目前每分钟可以拉起500~1000个计算节点，可以快速响应业务资源需求。

元信息发现可以自动为OSS上面的数据文件创建及更新数据湖元数据，方便分析和计算。具有自动探索文件数据字段及类型、自动映射目录和分区、自动感知新增列及分区、自动对文件进行分组建表的能力。

多源数据实时入湖分析支持构建实时数据湖，延迟大约为10分钟；无需ETL，可使用SQL跨OSS、关系数据库(PostgreSQL、MySQL等)、NoSQL(TableStore等)多种数据源分析，屏蔽各种数据源访问的差异性；分析环境与生产库隔离，分析过程不会对数据源端的业务系统产生造成影响。

完善的生态，学习使用成本低数据库式体验、多种GUI工具、数据SaaS可视化工具支持，学习使用成本低

GUI工具丰富支持Microstrategy、MySQL Workbench、DBeaver等多种MySQL GUI管理工具。

多种可视化工具支持与QuickBI、Tableau、DataV等BI工具集成度高、兼容性好。

兼容标准SQL兼容SQL:2003标准，支持标准JDBC/ODBC协议，丰富的内置函数支持，数据库般的使用体验。

应用场景

云原生数据湖分析架构

Lakehouse实时入湖

数据建仓成本优化

日志转存合规与分析

采用云原生架构，大幅降低运维工作量

Serverless Spark版本解决如下场景业务挑战：需要自定义Code，SQL很难表达的，例如编写Java、Scala、Python或者SQL带条件的，大规模的清洗，例如1天清洗OSS 1TB~1PB的数据；需要算法支持,需要支持Streaming。
Serverless Presto版本解决如下场景业务挑战：快速搭建报表，例如QuickBI加速，友盟返还数据分析；支持轻量级的ETL，简单利用SQL就可以实现快速的清洗。

能够提供

在开源Apache Spark基础上研发，兼容Spark、pySpark生态，开源算法库等。

在开源Presto基础上研发，兼容Presto生态。

Serverless Spark拥有良好的弹性能力，支持Job级别的弹性。可设置长期保有资源(MIN)、弹性资源上限（MAX），MIN最小为0。数据湖分析实例自动根据业务波峰波谷在MIN 与 MAX 之间弹性扩缩容，无需提前预留资源，降低成本的同时保持业务稳定运行。

进行数据ETL，入湖建仓。

Serverless Presto 提供内置cache，分时弹性、分区投影，帮助用户快速搭建BI报表。

推荐搭配产品

云数据库RDS MySQL版

对象存储OSS