实时数据集成（Flink版）
Flink全托管产品支持您自定义连接器后上传使用，物联网平台提供连接器 iot-source 的使用说明，请参见 实时数据集成的连接器。使用限制 限制项 说明 地域 华东2（上海）、华南1（深圳）、华北2（北京）、美国（弗吉尼亚）。物联网平台企业...
实时数据集成的连接器
在使用Flink SQL开发作业集成物联网平台数据时，需要使用SQL连接器连接物联网平台的数据表（产品属性时序数据、产品事件数据和自定义时序存储表）。物联网平台提供了连接器作为...数据集成流程：使用连接器集成物联网平台时序数据的完整流程。
通过实时计算Flink集成向量数据
云原生数据仓库AnalyticDB PostgreSQL版 支持通过flink-adbpg-connector集成向量化数据。本文以将Kafka数据导入至 AnalyticDB PostgreSQL版 为例，介绍如何将向量数据导入 AnalyticDB PostgreSQL版。前提条件 已创建 AnalyticDB PostgreSQL...
通过实时计算Flink集成向量数据
云原生数据仓库AnalyticDB PostgreSQL版 支持通过flink-adbpg-connector集成向量化数据。本文以将Kafka数据导入至 AnalyticDB PostgreSQL版 为例，介绍如何将向量数据导入 AnalyticDB PostgreSQL版。前提条件 已创建 AnalyticDB PostgreSQL...
实时数据消费概述
实时数据源消费 Kafka数据集成是实时分析功能的另一个组件，它允许 AnalyticDB PostgreSQL版 数据库实时地从Kafka Topic中消费数据。为您提供了一个强大的工具，用于结合流处理和批处理的数据分析。更多信息，请参见 实时数据源集成。使用...
配置MySQL输入
DataWorks的数据集成实时同步MySQL数据是基于实时订阅MySQL实现的，实时同步MySQL数据目前仅支持配置MySQL数据源为RDS的 5.x 或 8.x 版本的MySQL，如果需要同步DRDS的MySQL，请不要将DRDS的MySQL配置为MySQL数据源，您可以参考 配置DRDS...
收费常见问题
本文为您介绍数据集成收费相关问题及解决方案。数据集成是怎么收费的？数据集成收费包含三种途径，详情请参见 独享数据集成资源组计费说明：包年包月、公共数据集成（调试）资源组：按量计费、公网流量计费说明。
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
实时数据API
本文为您介绍什么是实时数据API，以及实时数据API的作用。实时数据业务流程。在实时数据业务场景中，最常见的链路是将实时采集的数据，通过实时计算初步清洗，实时写入数据至数据库，再对接BI工具实现数据的可视化分析。数据处理流程如下图...
数据集成
数据集成是阿里对外提供的可跨异构数据存储系统的、可靠、安全、低成本、可弹性扩展的数据同步平台，为20多种数据源提供不同网络环境下的离线（全量/增量）数据进出通道。您可以通过 数据集成（Data Integration）向云数据库RDS进行数据的...
数据集成
数据集成是阿里对外提供的可跨异构数据存储系统的、可靠、安全、低成本、可弹性扩展的数据同步平台，为20多种数据源提供不同网络环境下的离线（全量/增量）数据进出通道。您可以通过 数据集成（Data Integration）向云数据库RDS进行数据的...
更多数据同步方案
数据集成是阿里对外提供的可跨异构数据存储系统的、可靠、安全、低成本、可弹性扩展的数据同步平台，为20多种数据源提供不同网络环境下的离线（全量/增量）数据进出通道。您可以通过 数据集成（Data Integration）向云数据库RDS进行数据的...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
MySQL数据源
实时读取：数据集成实时读取MySQL数据是基于实时订阅MySQL实现的，当前仅支持实时同步MySQL 5.5.x、MySQL 5.6.x、MySQL 5.7.x、MySQL 8.0.x（非8.0新特性，比如 functional index，仅兼容原有功能）版本的MySQL数据，兼容 Amazon RDS for ...
实时同步能力说明
DataWorks为您提供的实时数据同步功能，方便您使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。使用限制 实时同步不支持在数据开发界面运行任务，您需要保存、...
Oracle数据源
DataWorks的数据集成实时同步Oracle数据是基于Oracle Logminer日志分析工具实现的，Oracle仅支持在主库中为主库或备库开启补充日志。离线同步支持读取视图表。支持的字段类型 字段类型 离线读（Oracle Reader）离线写（Oracle Writer）实时...
MySQL一键实时同步至MaxCompute
本文为您介绍如何通过DataWorks数据集成将MySQL全增量数据一体化同步至MaxCompute表中。前提条件 已完成MaxCompute和MySql数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入...
MySQL一键实时同步至MaxCompute
本文为您介绍如何通过DataWorks数据集成将MySQL全增量数据一体化同步至MaxCompute表中。前提条件 已完成MaxCompute和MySql数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入...
DataWorks OpenAPI概述
DataWorks为您提供了涵盖租户、元数据、数据开发、运维中心、数据集成等多个功能模块的OpenAPI接口，不同API的QPS限制、每日调用次数上限和支持使用的DataWorks服务版本存在差异。您可参考本文了解各OpenAPI支持的DataWorks版本及地域、...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
DataHub通过数据集成批量导入数据
背景信息 数据集成是阿里云提供的数据同步平台。该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点，可以为20多种数据源提供不同网络环境下的离线数据进出通道。本文以配置DataHub数据源为例，如果您需要使用其它类型...
通过脚本模式配置离线同步任务
背景信息 数据集成离线同步，为您提供数据读取（Reader）和写入插件（Writer）实现数据的读取与写入，您可通过向导模式和脚本模式配置离线同步任务，实现源端单表同步至目标端单表、源端分库分表同步至目标端单表两类数据同步场景。...
查看实时性能
说明：上图中的区域1是实时数据区域，显示各项指标的实时监控数据；区域2是与数据区域对应的指标图表，体现指标的变化趋势；页面数据从打开页面的时刻开始采集，每8秒刷新一次，刷新周期不可更改。单击实时监控开关可以开启或暂停数据刷新...
离线同步任务调优
离线同步任务使用的调度资源组 离线同步任务将有调度资源下发至数据集成任务执行资源上执行，调度资源使用情况同样会影响整体数据集成同步效率。关于离线任务下发机制，详情请参见：任务下发机制。离线同步任务配置 传输速度：是否设置任务...
数据开发
数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。更多关于数据集成支持的数据源情况，请参见 数据集成。步骤一：购买并配置独享数据集成资源组 本教程需将存储...
DataWorks各版本详解
不支持 不支持 不支持 支持 数据集成 实时同步 支持 支持 支持 支持 华东1（杭州）华东2（上海）华北2（北京）华北3（张家口）华南1（深圳）西南1（成都）华北2（北京金融云）离线同步 支持 支持 支持 支持 全部DataWorks部署地域 华东2...
创建Hive数据源
Hive数据源配置参数中，集成配置 是为了支持数据集成，实时研发配置 是为了支持实时研发的场景，而 元数据库配置 是基础的配置，用来获取元数据。说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据...
通过数据集成导入导出MongoDB数据
数据集成DataWorks是稳定高效、弹性伸缩的数据同步平台，为阿里云大数据计算引擎（MaxCompute、AnalyticDB和OSS等）提供离线、批量数据的进出通道。本文介绍如何通过数据集成导入导出MongoDB数据。关于通过数据集成导入导出MongoDB数据的...
DataWorks的审计事件
DIBatchOfflineStreamxJob 运维中心数据集成功能下批量下线实时任务。DIBatchRunStreamxJob 运维中心数据集成功能下批量启动实时任务。DIBatchStartAlarmRule 运维中心数据集成功能下批量启动告警规则。DIBatchStopAlarmRule 运维中心数据...
数据集成支持的数据源
数据集成支持离线集成、实时集成、整库迁移集成方式。本文为您介绍离线集成、实时集成、整库迁移支持的数据源类型。不同集成类型适用场景 集成类型 适用场景 离线集成 适用于数据上云、云上数据迁移到本地业务系统等场景。例如，将本地数据...
离线同步任务运维
DataWorks的离线同步任务通过调度资源组将其下发到数据集成任务执行资源组上执行，所以离线同步任务除了涉及数据集成任务执行资源组外，还会占用调度资源组资源。如果使用了独享调度资源组，将会产生调度实例费用。您可通过文档对该机制...
查看实时同步任务详情
实时同步任务是由实时数据同步时发起的任务，运维监控支持查看实时同步任务及其详情。本文介绍查看实时同步任务的详情。前提条件 已上线实时同步任务，具体操作，请参见 上线实时任务。操作步骤 登录 数据资源平台控制台。在页面左上角，...
查看实时同步任务详情
实时同步任务是由实时数据同步时发起的任务，运维监控支持查看实时同步任务及其详情。本文介绍查看实时同步任务的详情。前提条件 已上线实时同步任务，具体操作，请参见 上线实时任务。操作步骤 登录企业数据智能平台。在页面左上角，单击 ...
查看实时同步任务详情
实时同步任务是由实时数据同步时发起的任务，运维监控支持查看实时同步任务及其详情。本文介绍查看实时同步任务的详情。前提条件 已上线实时同步任务，具体操作，请参见 上线实时任务。操作步骤 登录企业数据智能平台。在页面左上角，单击 ...
推送记录
在 推送记录 页面，您可单击 离线计算、实时计算、实时集成、数据质量 或 数据服务 页签，查看对应模块的推送记录。不同功能模块的页签展示一致，下图以 离线计算 为例。区域 描述 ①筛选与搜索区 您可根据推送记录对象名称的关键字进行...
技术发展趋势
IDC在新发布的一份白皮书中表示，随着全球连接的增多，更多数据将产生，其中实时数据所占比例将增加；到2025年，全球近30％的数据将是实时的。在Forrester最近的一项研究中，超过75％的受访公司已经使用Fast Data解决方案。在接受调查的...
2023年
异构数据源访问 同构数据源访问 实时分析（免费公测）实时分析功能包含高速数据导入API和实时数据源集成两部分，可实现数据直接写入Segment（分片单元），避免通过COPY或INSERT方式造成的Master写入负载高的问题，也可实现使用 AnalyticDB ...
MaxCompute数据源
实时写 实时数据同步任务仅支持使用独享数据集成资源组。实时同步节点目前仅支持同步PolarDB、Oracle、MySQL数据源至MaxCompute。实时数据同步任务暂不支持同步没有主键的表。当实时同步至MaxCompute数据源且使用临时AK进行同步时，临时AK...
Hologres数据源
整库实时写 实时数据同步任务仅支持使用 独享数据集成资源组。实时数据同步任务暂不支持同步没有主键的表。单表、整库全增量实时写 同步数据至Hologres时，目前仅支持将数据写入分区表子表，暂不支持写入数据至分区表父表。支持的字段类型 ...
GenerateDISyncTaskConfigForUpdating
DataWorks目前仅支持直接使用 UpdateDISyncTask 接口更新数据集成离线同步任务，而数据集成实时同步任务和解决方案同步任务则需要先调用GenerateDISyncTaskConfigForUpdating和 QueryDISyncTaskConfigProcessResult 接口，异步生成更新数据...
- 产品推荐
- 这些文档可能帮助您