应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
IoT数据自动化同步至云端解决方案
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
ECS实例说明
大数据型 使用本地SATA盘作存储数据，存储性价比高，是大数据量（TB级别的数据量）场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点；Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型 使用本地...
数据迁移与同步FAQ
DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：将Redis数据库中的数据（即键值对）迁移至另一个Redis数据库中。通常迁移完成后即可...
从RDS MySQL迁移至自建Kafka
Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），...
数据目录
什么是数据目录（Catalog）数据目录（Catalog）是数据湖构建（Data Lake Formation）的元数据最上层实体，它可以包含多个数据库。适用场景 主要适用于元数据隔离的场景，比如多个E-MapReduce集群，每个集群绑定不同的Catalog，每个EMR集群...
概述
数据备份物理空间大小如下图所示：说明 PolarDB 集群 数据备份物理空间大小（上图中①所示）：指数据备份的收费对象，物理空间大小是指所有数据备份（快照）独占的物理空间大小之和，PolarDB集群的数据与多个数据备份（快照）会复用相同的...
概述
数据备份物理空间大小如下图所示：说明 PolarDB 集群 数据备份物理空间大小（上图中①所示）：指数据备份的收费对象，物理空间大小是指所有数据备份（快照）独占的物理空间大小之和，PolarDB集群的数据与多个数据备份（快照）会复用相同的...
什么是DataWorks
中国国际大数据产业博览会十佳大数据案例 中国信通院：数据集成工具、数据管理工具、数据开发平台、数据脱敏工具、数据分类分级等评测 学习路径 您可以通过DataWorks文档首页的 学习路径，快速了解DataWorks的相关概念、基础操作及进阶操作...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
授权信息
本文为您介绍 开源大数据平台 E-MapReduce（EMR）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce（EMR）的RAM代码（RamCode）为 emr,emr-apm-server,ecm,emr-serverless-spark,dls...
管理健康报告
Tablet数据大小变异系数 是指同一个分区内的tablet数据大小变异系数，代表了一个表的数据的tablet分布均衡程度。计算方式为：同一个分区内tablet数据大小的标准差除以平均值。一般来说，变异系数越大，这个分区越有可能存在数据倾斜的情况...
透明数据加密概述
什么是透明数据加密 透明数据加密指对数据文件执行实时I/O加密和解密。通过在数据库层执行静态数据加密，阻止可能的攻击者绕过数据库直接从存储中读取敏感信息。经过数据库身份验证的应用和用户可以继续透明地访问应用数据（不需要更改应用...
功能简介
一致性：数据一致性是指确保两个数据集之间或一个数据集内部不同字段间数值或信息的一致。唯一性：数据唯一性是指在一个数据集中，没有重复的记录或信息。时效性：数据时效性是指数据集按时、按量的更新程度。规范性：数据规范性是指数据集...
功能简介
一致性：数据一致性是指确保两个数据集之间或一个数据集内部不同字段间数值或信息的一致。唯一性：数据唯一性是指在一个数据集中，没有重复的记录或信息。时效性：数据时效性是指数据集按时、按量的更新程度。规范性：数据规范性是指数据集...
质量评估
质量评估通过用户自定义质量检查计划，根据用户设置的数据质量规则执行面向不同计算资源的质量检查任务，通过数据质量监控报告展现系统整体数据质量概览及多维度细分数据的质量情况。质量评估通过完整性、准确性、一致性、唯一性、时效性、...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
DataV连接
详情请参见 什么是DataV数据可视化。前提条件 已开通DataV服务，详情请参见 开通DataV服务。已准备好待添加的 AnalyticDB PostgreSQL版 数据源。操作步骤 登录 DataV控制台。在工作台页面，单击 数据准备>数据源，进入数据源页面，单击 ...
ListDoctorHiveTables-批量获取Hive表分析结果
温数据指的是 7 日内没有访问的数据，但是 30 日以内有访问的数据。coldDataSize:冷数据的数据量大小。冷数据指的是 30 日内没有访问的数据，但是 90 日以内有访问的数据。freezeDataSize:极冷数据数的据量大小。极冷数据指的是 90 日以内...
ListDoctorHDFSDirectories-批量获取HDFS目录分析结果
温数据指的是 7 日内没有访问的数据，但是 30 日以内有访问的数据。coldDataSize:冷数据的数据量大小。冷数据指的是 30 日内没有访问的数据，但是 90 日以内有访问的数据。freezeDataSize:极冷数据的数据量大小。极冷数据指的是 90 日以内...
JindoData概述
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
创建Aliyun HBase数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 服务类型 根据数据源HBase选择...
创建ClickHouse数据源
通过创建ClickHouse数据源能够实现Dataphin读取ClickHouse的业务数据或向ClickHouse写入数据。本文为您介绍如何创建ClickHouse数据源。背景信息 如果您使用的是数据库ClickHouse，引入ClickHouse的业务数据至Dataphin中或将Dataphin数据...
常见问题FAQ
基本问题 Q：云数据库专属集群MyBase 是什么意思？它和RDS数据库的区别是什么？A：云数据库专属集群MyBase 是由多台主机（底层服务器，如ECS I2服务器、神龙服务器）组成的集群，详情请参见 常见术语。相比直接使用RDS 或Redis 实例，专属...
管理缓存
释放数据是指从Alluxio缓存中删除数据，而不是从底层UFS中删除数据。释放操作后，数据仍然可供用户使用，但对Alluxio释放文件后尝试访问该文件的客户端来讲性能可能会降低。语法 alluxio fs free示例：将 tmp 目录中的所有数据从缓存中释放...
GetDoctorHDFSCluster-获取HDFS分析结果
通过EMR Doctor获取集群HDFS数据分析结果。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必...
GetDoctorHDFSDirectory-获取HDFS特定目录分析结果
通过EMR Doctor获取集群HDFS特定目录数据分析结果，目录不超过5级。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出...
数据质量教程概述
准确性 准确性是指数据记录中信息和数据是否准确、不存在错误或异常。例如，在本教程中，如果UV、PV数值小于0，则明显是错误数据。一致性 对于不同的业务流程和节点，同一份数据必须保持一致性。例如表 province 字段中如果有 浙江、ZJ 两...
数据质量教程概述
准确性 准确性是指数据记录中信息和数据是否准确、不存在错误或异常。例如，在本教程中，如果UV、PV数值小于0，则明显是错误数据。一致性 对于不同的业务流程和节点，同一份数据必须保持一致性。例如表 province 字段中如果有 浙江、ZJ 两...
GetDoctorHiveTable-获取Hive表分析结果
温数据指的是 7 日内没有访问的数据，但是 30 日以内有访问的数据。Name string 指标名称。warmDataSize Value long 指标值。14981 Unit string 指标单位。MB Description string 指标描述。Size of the warm data size ColdDataSize ...
GetDoctorHiveDatabase-获取Hive库信息
冷数据指的是 30 日内没有访问的数据，但是 90 日以内有访问的数据。Name string 指标名称。coldDataSize Value long 指标值。1000 Unit string 指标单位。MB Description string 指标描述。Ratio of cold files FreezeDataSize object 极...
ListDoctorHiveDatabases-批量获取 Hive 库信息
冷数据指的是 30 日内没有访问的数据，但是 90 日以内有访问的数据。Name string 指标名称。coldDataSize Value long 指标值。1000 Unit string 指标单位。MB Description string 指标描述。Ratio of cold files FreezeDataSize object 极...
GetDoctorHiveCluster-获取 Hive 集群信息
冷数据指的是 30 日内没有访问的数据，但是 90 日以内有访问的数据。Name string 指标名称。coldDataSize Value long 指标值。1000 Unit string 指标单位。MB Description string 指标描述。Ratio of cold files FreezeDataSize object 极...
数据模型
数据时效（TTL）数据时效是指数据保存有效期，超过有效期的数据会被自动清理，默认数据有效期为永久保存。场景示例 某风力电厂包含一系列的智能风力发电机设备，创建名为 Wind-generators 的table来存储所有设备的信息，设备由 ID、型号、...
配置TiDB输出组件
是指数据输出前和输出完成的一些特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，...
配置TiDB输出组件
是指数据输出前和输出完成的一些特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，...
什么是数据传输服务DTS
数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助您构建...
创建MongoDB数据源
通过创建MongoDB数据源能够实现Dataphin读取MongoDB的业务数据或向MongoDB写入数据。本文为您介绍如何创建MongoDB数据源。背景信息 如果您使用的是MongoDB，在引入MongoDB的业务数据至Dataphin中或将Dataphin数据导出至MongoDB的场景中，您...
创建MongoDB数据源
通过创建MongoDB数据源能够实现Dataphin读取MongoDB的业务数据或向MongoDB写入数据。本文为您介绍如何创建MongoDB数据源。背景信息 如果您使用的是MongoDB，在引入MongoDB的业务数据至Dataphin中或将Dataphin数据导出至MongoDB的场景中，您...
关联数据
管理对象组 对象是指数据库中特定表和字段的集合。对象组功能可以帮您管理数据库中表和字段的集合。如果自定义规则需要对固定的数据库对象生效，您可以通过新增对象组，直接在自定义规则中使用新增对象组。以下步骤介绍如何新增对象组。...
- 产品推荐
- 这些文档可能帮助您