数据湖-数据湖文档介绍内容-阿里云

数据湖元数据管理

2.12及之后版本，在创建集群选择元数据类型时支持数据湖元数据作为Hive数据库。数据湖元数据是服务化高可用并且可扩展的元数据库，您无需额外购买独立的元数据库，就可以实现多个引擎计算，例如同时使用Databricks 数据洞察和E-MapReduce。...

数据湖元数据

本文介绍如何配置数据湖构建（Data Lake Formation，DLF），作为E-MapReduce（简称EMR）上Hadoop集群的元数据。背景信息阿里云数据湖构建是一款全托管的快速帮助用户构建云上数据湖的服务，产品为云原生数据湖提供了统一的元数据管理、...

数据湖集群

E-MapReduce（简称EMR）新版控制台提供了数据湖集群，一个更灵活、可靠，以及高效的大数据计算集群。同时，您可以基于该集群轻松构建一个可扩展的数据管道。本文为您介绍数据湖集群支持的特性，以及与旧版Hadoop集群之间的差异。数据湖集群...

CreateCatalog-创建数据湖数据目录

创建数据湖数据目录。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试调试授权信息当前API暂无授权信息透出。请求参数名称类型必填描述示例值 ...

数据湖管理FAQ

围绕OSS对象存储等数据湖存储，构建上层可扩展的数据入湖能力，把Hudi、Delta等高效的对象管理格式和Parquet、ORC等对象格式，写入到数据湖中，并在写入过程中支持UPSERT、小文件合并、MVCC多版本、快照读等能力，用数仓的特性来解决单纯...

数据湖元数据配置

本文为您介绍Iceberg表使用数据湖元数据的必要配置。支持以下配置：Spark配置 Hive配置 Spark配置文件系统采用阿里云对象存储服务OSS。集群版本不同默认的Catalog名称不同，需要配置的参数也不同，各版本对应配置如下： EMR-3.40及后续...

数据湖构建的审计事件

数据湖构建已与操作审计服务集成，您可以在操作审计中查询用户操作数据湖构建产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过...

数据湖构建服务条款

阿里云理解并认可，您通过阿里云提供的服务，加工、存储、上传、下载、分发以及通过其他方式处理的数据，均为您的用户业务数据，您完全拥有您的用户业务数据。6.2．就用户业务数据，阿里云除执行您的服务要求外，不进行任何未获授权的使用...

什么是云原生数据湖分析

云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB\NoSQL）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统...

数据湖生态接入

本文介绍对象存储OSS支持接入的数据湖生态。生态类型引擎/平台参考文档开源生态 Elasticsearch 将Elasticsearch的快照备份至OSS Flink 使用Flink访问OSS Flink使用JindoSDK可恢复性写入OSS-HDFS服务 Fluentd 使用Fluentd访问OSS Flume ...

OSS数据湖加速

支持读和写数据类型映射 Hologres与数据湖数据类型映射关系请参见数据类型汇总。前提条件您已开通DLF数据湖构建，详情请参见快速入门支持开通DLF的地域请参见已开通的地域和访问域名。（可选）如果您需要使用DLF自定义数据目录功能，...

UpdateCatalogSettings-更新数据湖Catalog的配置

更新数据湖Catalog的配置，需admin角色以上角色。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试调试授权信息当前API暂无授权信息透出。请求参数 ...

EMR+DLF数据湖解决方案

通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持数据湖的多种管理如数据生命周期，湖格式自动优化，存储分析等。同时支持多源数据入湖以及一站式数据探索的能力。本文为您介绍EMR+DLF数据湖方案...

【通知】停止售卖云原生数据湖分析DLA

阿里云计划停止售卖云原生数据湖分析DLA，其湖分析功能将并入云原生数据仓库AnalyticDB MySQL版。停售对象云原生数据湖分析DLA 停售计划 2023年06月01日起，停止新购云原生数据湖分析DLA实例和开通服务。2023年12月01日起，停止升级云原生...

GrantRoleToUsers-将数据湖角色授予用户

将数据湖角色授予多个用户。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试调试授权信息当前API暂无授权信息透出。请求参数名称类型必填描述 ...

ListRoles-获取数据湖角色列表

获取数据湖角色列表。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试调试授权信息当前API暂无授权信息透出。请求参数名称类型必填描述示例值 ...

基于Delta lake的一站式数据湖构建与分析实战

企业构建和应用数据湖一般需要经历数据入湖、数据湖存储与管理、数据湖探索与分析等几个过程。本文主要介绍基于阿里云数据湖构建（DLF）构建一站式的数据入湖与分析实战。背景信息随着数据时代的不断发展，数据量爆发式增长，数据形式也变...

CreateRole-创建数据湖权限的角色

在数据湖权限中新增一个角色。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试调试授权信息当前API暂无授权信息透出。请求参数名称类型必填描述...

EMR元数据迁移到数据湖构建（DLF）

本文为您介绍如何将Hive MetaStore存储在MySQL、RDS中的元数据迁移到DLF中，并介绍如何在EMR集群中配置使用DLF作为数据湖统一元数据。适用场景从其他大数据集群迁移到阿里云E-MapReduce产品。从阿里云EMR老集群（MySQL做元数据），整体...

MySQL整库实时同步至OSS数据湖

支持将源端数据源MySQL的数据结构迁移到OSS数据湖，且支持选择将历史存量数据（整库或部分表）一次性同步至OSS数据湖，增量数据实时同步至OSS数据湖。支持源端新建表的DDL操作，同步过程中可根据源端数据库表数量的变化自动加表。重要暂...

GrantPermissions-对User/数据湖角色授予权限

对User/数据湖角色授予资源的操作权限。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试调试授权信息当前API暂无授权信息透出。请求参数名称类型 ...

GetRegionStatus-获取数据湖构建服务开通状态

获取数据湖构建指定地域的服务开通状态。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试调试授权信息下表是API对应的授权信息，可以在RAM权限策略...

UpdateRole-更新数据湖权限中的角色

更新数据湖权限中的角色。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试调试授权信息当前API暂无授权信息透出。请求参数名称类型必填描述 ...

GetRole-获取数据湖权限中的角色详情

根据角色名获取数据湖权限中的角色。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试调试授权信息当前API暂无授权信息透出。请求参数名称类型必...

RevokePermissions-取消User/数据湖角色授予的权限

取消对User/数据湖角色授予资源的操作权限。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试调试授权信息当前API暂无授权信息透出。请求参数名称 ...

ListUserRoles-获取单个User的数据湖角色列表

获取单个User的数据湖角色列表。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试调试授权信息当前API暂无授权信息透出。请求参数名称类型必填 ...

GetCatalogSettings-获取数据湖Catalog的配置

获取数据湖Catalog的配置，需admin角色以上角色。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试调试授权信息当前API暂无授权信息透出。请求参数 ...

数据湖构建之MaxCompute湖仓一体最佳实践

依托数据湖构建产品（DLF）提供的企业级元数据能力，MaxCompute数仓可以通过共享元数据的方式访问湖上的存储，与湖上引擎打通，实现MaxCompute湖仓一体。方案详情详细内容请参考：《数据湖构建之MaxCompute湖仓一体最佳实践》

流式数据湖仓Paimon

流式数据湖仓Paimon连接器推荐配合Paimon Catalog使用，本文为您介绍如何使用流式数据湖仓Paimon连接器。背景信息 Apache Paimon是一种流批统一的湖存储格式，支持高吞吐的写入和低延迟的查询。目前阿里云开源大数据平台E-MapReduce常见的...

DeleteRole-删除数据湖权限中的角色

删除数据湖权限中的角色。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试调试授权信息当前API暂无授权信息透出。请求参数名称类型必填描述 ...

UpdatePermissions-对User/数据湖角色的权限进行更新

对User/数据湖角色的权限进行更新。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试调试授权信息当前API暂无授权信息透出。请求参数名称类型必填...

BatchRevokePermissions-批量取消对User/数据湖角色...

批量取消对User/数据湖角色授予资源的操作权限。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试调试授权信息当前API暂无授权信息透出。请求参数 ...

基于OSS-HDFS构建数据湖

使用限制该功能不支持读写使用 OSS加速器的数据湖数据。前提条件已开通DLF数据湖构建，详情请参见快速入门。支持的区域请参见已开通的地域和访问域名。已开通OSS-HDFS并完成了数据准备，详情请参见开通并授权访问OSS-HDFS服务。...

通过数据湖元数据DLF读写Hudi

EMR-3.38.3及后续版本的DataFlow集群，可以通过数据湖元数据DLF（Data Lake Formation）作为元数据读取DataLake集群或自定义集群中的数据。本文为您介绍Dataflow集群如何连接DLF，并读取Hudi全量数据。前提条件已在E-MapReduce控制台上...

共享集群（OSS数据湖加速）

数据类型映射 Hologres与数据湖数据类型映射关系请参见数据类型汇总。前提条件您已开通DLF数据湖构建，详情请参见快速入门共享集群支持的地域有：华北2（北京）、华东2（上海）、华东1（杭州）和新加坡。（可选）如果您需要使用DLF...

BatchGrantPermissions-批量对User/数据湖角色授予...

批量对User/数据湖角色授予资源的操作权限。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试调试授权信息当前API暂无授权信息透出。请求参数名称 ...

DataFlow集群通过Hive Catalog连接数据湖元数据DLF

EMR-3.38.3及后续版本的EMR集群可以使用数据湖元数据DLF（Data Lake Formation）服务对集群数据进行统一管理，EMR中的Flink组件在开源Flink基础上增加了与DLF适配的功能。本文为您介绍如何在EMR集群上通过Flink SQL创建Hive Catalog连接到...

DeleteCatalog-删除数据湖数据目录

删除数据目录。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试调试授权信息当前API暂无授权信息透出。请求参数名称类型必填描述示例值 ...

数据湖构建

Superset连接数据湖分析

本文主要介绍如何使用Superset连接DLA进行数据分析。背景信息 DLA对外暴露的是MySQL的协议，大多数BI工具可以使用MySQL连接器直接连接DLA，由于Superset对于表的定义语句校验严格，同时DLA的建表语句与MySQL的建表语句存在差别，这导致...

数据湖

新品推荐