请求结构
Content-Type 类型设置注意 使用POST方式向API提交数据时，需要将HTTP请求的“Content-Type”设置为“application/json”，否则可能会导致API解析失败。使用GET方式向API提交查询，需要将HTTP请求的“Content-Type”设置为“application/...
支持的目标库
目标库 相关文档 RDS MySQL 导出至RDS MySQL 自建MySQL 导出至自建MySQL OSS 导出至OSS HDFS 导出至HDFS MaxCompute 导出至MaxCompute 另外，AnalyticDB MySQL版 也支持通过异步方式提交数据导出任务，详情请参见 异步提交导出任务。
请求结构
请求路径 每个请求必须指定请求的 API 路径，即通过 API 要执行的具体操作，...HTTP METHOD 描述 替代参数 GET 获取数据 N/A POST 提交数据 method_override=post PUT 覆盖数据 method_override=put DELETE 删除数据 method_override=delete
异步提交导入任务
AnalyticDB MySQL版 支持通过异步方式提交数据导入任务。应用场景 在使用 INSERT INTO 或 INSERT OVERWRITE SELECT 导入数据时，默认是同步执行流程，当数据量较大达到几百GB，客户端到 AnalyticDB MySQL 服务端的连接会中断，导致数据导入...
异步提交导出任务
AnalyticDB MySQL版 支持通过异步方式提交数据导出任务。应用场景 在使用 INSERT INTO 或 INSERT OVERWRITE INTO SELECT 导出数据时，默认是同步执行流程，当数据量较大达到几百GB，客户端到 AnalyticDB MySQL 服务端的连接会中断，导致...
修改实例参数
sink.batch.enable 增量同步 增量迁移 是否以batch（批量提交）的方式发送数据，取值为：true：是，以batch的方式发送数据。false（默认值）：否，不以batch的方式发送数据。source.filter.ddl.enable 增量同步 增量迁移 是否过滤DDL，取值...
普通数据变更
本文将通过以下4个例子向您介绍典型场景下的安全规则设定与对应提交数据变更的方式。准备工作 本文已通过DMS的 结构设计 功能在安全协同模式的 poc_prod 生产库和 poc_dev 开发库下创建 data_modify 表。您也可以通过DMS的SQL Console创建 ...
2023年
ListJobInfos-查看作业列表 2023-12-04 新增SKEWJOIN HINT 新说明 当两张表Join存在热点，导致出现长尾问题时，您可以通过取出热点key，将数据分为热点数据和非热点数据两部分处理，最后合并的方式，提高Join效率。SkewJoin Hint可以通过...
使用Kafka客户端消费订阅数据
注意事项 使用本文提供的Demo消费数据时，如果采用auto commit（自动提交），可能会因为数据还没被消费完就执行了提交操作，从而丢失部分数据，建议采用手动提交的方式以避免该问题。说明 如果发生故障没有提交成功，重启客户端后会从上...
使用Kafka客户端消费订阅数据
注意事项 使用本文提供的Demo消费数据时，如果采用auto commit（自动提交），可能会因为数据还没被消费完就执行了提交操作，从而丢失部分数据，建议采用手动提交的方式以避免该问题。说明 如果发生故障没有提交成功，重启客户端后会从上...
写入数据
}/手动打包后提交数据 tsdb.putSync(points)注意 出于写入性能的考虑，同步写的方式一般需要您手动将数据点打包成一批数据，并且建议这批数据包含500～1000个数据点。此外，也建议多个线程并发进行提交 同步写的响应对象 您可以根据需要...
基本概念
栅格数据以数据分块（Tile或Block）的形式存储在Lindorm（HBase）中，每个分块对应于一个主键，并且该主键支持时间和空间查询。此外，Ganos Raster允许多源栅格数据（如遥感、摄影测量和专题地图）之间的融合与分析以及数据服务发布等功能...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
DataStudio侧实时同步任务配置
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，将多种输入及输出数据源搭配组成同步链路，进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务，并在创建完成后查看任务运行情况。前提...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
使用DataWorks
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...
实时消费Kafka数据
当您需要将Kafka数据写入 AnalyticDB PostgreSQL版，且不希望使用其他数据集成工具时，可以通过实时数据消费功能直接消费Kafka数据，减少实时处理组件依赖，提升写入吞吐。Apache Kafka是一个容错、低延迟、分布式的发布-订阅消息系统。...
离线同步常见问题
（自动生成是指配置cleanup=true执行同步任务）向ES写入数据时，会做一次无用户名的提交，但仍需验证用户名，导致提交失败，因此提交的所有请求数据都被记录，导致审计日志每天都会有很多，如何处理？Elasticsearch writer配置了Settings，...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
参考：渐进式计算
例如在范围查询（Range Query）场景下（即查询一段时间范围内的数据），使用传统批处理方式和渐进式计算方式每次统计过去一周的产品总销量，渐进式计算方式除首次执行外，其余每次执行的计算量减少了70%。如下所示：传统批处理方式：第n（n...
概述
授权后，权限生效的用户可以在该数据填报中管理自己提交的数据，同时也支持提交数据。提交数据：用于设置数据填报管理数据的权限。授权后，权限生效的用户可以在该数据填报中提交数据。数据集 支持授予某用户编辑和使用数据集的权限。编辑...
文档更新动态（2022年之前）
新功能 网络连通解决方案 2021年08月24日 数据服务：支持数据服务模块的数据查询加速、支持的数据源类型和版本拓展 为了满足对数据查询速度有要求的业务场景，Dataphin支持为项目添加加速计算源，且完成Dataphin数据源开发后，您可以手动...
一键实时同步至MaxCompute
数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载（同步数据通道SLA详情请参见 数据传输服务（上传）场景与工具），请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。一键实时同步至MaxCompute，按实例模式同步时...
一键实时同步至MaxCompute
数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载（同步数据通道SLA详情请参见 数据传输服务（上传）场景与工具），请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。一键实时同步至MaxCompute，按实例模式同步时...
通过注册方式创建API
步骤一：选择生成API的方式 在Dataphin首页，单击顶部菜单栏 服务。系统默认进入 市场 页面。按照下图操作指引，进入 新建API 创建方式选择对话框。在 API创建方式选择 对话框 注册API 后，单击 确定。步骤二：配置注册API的参数信息 在 ...
功能更新动态（2022年之前）
资产质量 数据服务 支持通过界面配置的方式构建API和Dataphin数据源，以满足不同数据的使用场景，同时降低数据的开发门槛，帮助企业实现数据应用价值最大化。数据服务概述 资产质量的售卖 新增资产质量售卖的说，帮助您了解如何购买资产...
数据集成侧同步任务配置
完成数据源、网络、资源的准备配置后，您可以根据同步场景选择同步解决方案，创建并执行同步任务，将源端数据同步至目标端。本文为您介绍同步任务的通用配置流程，不同的同步方案配置流程可能存在差异，对应方案配置详情请以界面为准。前提...
监控
无数据报警处理方法 无监控数据时报警的处理方式。取值：不做任何处理（默认值）发送无数据报警 视为恢复 说明 单击 高级设置，可设置该参数。标签 报警标签会添加到报警内容中。标签名称和标签值是一一对应的，可以设置多对标签。完成上述...
数据传输服务（上传）场景与工具
流式数据通道写入 MaxCompute流式数据通道服务提供了以流式的方式将数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。流式数据写入到MaxCompute的方案如下。SDK接口：提供流式语义API，通过流式服务的...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
提交并发布模型
提交模型至开发环境计算引擎 保存数据模型后，DataWorks开发角色需要先提交数据模型至开发环境计算引擎。测试无误后，再发布至生产环境。进入 数据开发 页面。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中...
创建数据库
数据库：数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合，可以简单理解为存放数据的仓库。字符集：字符集是数据库中字母、符号的集合，以及它们的编码规则。注意事项 支持在控制台...
基于Delta lake的一站式数据湖构建与分析实战
其中大部分的在线存储都面向在线事务型业务，并不适合在线分析的场景，所以需要将数据以无侵入的方式同步至成本更低且更适合计算分析的对象存储。常用的数据同步方式有基于DataX、Sqoop等数据同步工具做批量同步；同时在对于实时性要求较高...
数据上云工具
MaxCompute平台支持丰富的数据上传和下载工具（其中大部分工具已经在GitHub公开源代码，以开源社区的方式进行维护）。您可以根据实际应用场景，选择合适的工具进行数据的上传和下载。阿里云数加产品 MaxCompute客户端（Tunnel通道系列）...
使用DTS导入和导出数据
PolarDB-X 提供丰富的数据导入和导出方式，以保持与其他数据系统的互通。本文主要介绍通过DTS导入导出数据的方式。通过DTS或备份恢复导入数据到 PolarDB-X 您可以通过DTS或备份恢复导入数据到 PolarDB-X。通过DTS将 RDS数据迁移到PolarDB-X...
数据变更
本文介绍提交数据变更工单时常见的报错及解决方案。根据安全规则设置，禁止直接执行命令类型：XXXX或不允许提交类型为XXXX的变更语句 报错示例：SQL类型检查不通过，根据安全规则设置，禁止直接执行命令类型：XXXX，如果需要，请联系DBA或...
云数据库Redis实例间单向数据迁移
如果您需要将一个 云数据库 Redis 版 实例的数据迁移到另一个 云数据库 Redis 版 实例中，且您未创建新实例，推荐您通过 备份集克隆、数据闪回功能 将数据克隆至新实例，若您已创建新实例，建议您通过数据传输服务DTS（Data Transmission ...
管理API
请求方式 通用的API请求方式，支持的选项：POST GET 本示例的请求方式为 GET。超时时间 执行API时的最大耗时，单位为毫秒，默认值为10000。调用API时，当执行时间超过该参数值，将返回超时错误。该值最大允许30000（毫秒），即30秒。返回...
安全托管
导出权限：指提交数据导出工单的权限（非直接导出）。变更权限：指在SQL窗口执行变更语句的权限（SQL窗口执行变更语句受管理员配置约束）；拥有提交数据变更、库表同步工单的权限（非直接变更）。提交工单申请权限时，权限的审批人是谁？...
配置DataHub输出组件
说明 一次提交数据量、batchSize、maxCommitInterval三个参数，只需满足一个参数则进行投递。另外DataHub对于一次Request请求写入的数据条数限制是10000条，超出10000条会导致任务出错，建议将batchSize设置为小于或等于10000条，避免任务...
- 产品推荐
- 这些文档可能帮助您