ClickHouse数据

是 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数,该值决定了数据同步系统和服务器端的网络交互次数,能够提升数据抽取性能。说明 fetchSize值过大会造成数据同步进程OOM,需要根据ClickHouse负载情况递增。否 1,...

DM(达梦)数据

否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数,该值决定了数据同步系统和服务器端的网络交互次数,能够提升数据抽取性能。说明 fetchSize 值过大(>2048)可能造成数据同步进程OOM。否 1,024 Writer脚本Demo {...

GBase8a数据

否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数,该值决定了数据集成和服务器端的网络交互次数,能够较大地提升数据抽取性能。说明 fetchSize 值过大(>2048)可能造成数据同步进程OOM。否 1,024 Writer脚本Demo...

Vertica数据

否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数,该值决定了数据集成和服务器端的网络交互次数,能够较大地提升数据抽取性能。说明 fetchSize 值过大(>2048)可能造成数据同步进程OOM。否 1,024 Writer脚本Demo...

AnalyticDB for PostgreSQL数据

否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数,该值决定了数据集成和服务器端的网络交互次数,能够提升数据抽取性能。说明 fetchSize 值过大(>2048)可能造成数据同步进程OOM。否 512 Writer脚本Demo {"type...

DB2数据

否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数,该值决定了数据同步系统和服务器端的网络交互次数,能够较大的提升数据抽取性能。说明 fetchSize 值过大(>2048)可能造成数据同步进程OOM。否 1024 Writer脚本...

SQL Server数据

否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数,该值决定了数据集成和服务器端的网络交互次数,能够提升数据抽取性能。说明 fetchSize 值过大(>2048)可能造成数据同步进程OOM。否 1024 对于您配置的 table、...

ApsaraDB For OceanBase数据

否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数,该值决定了数据集成和服务器端的网络交互次数,能够较大地提升数据抽取性能。说明 fetchSize 值过大(>2048)可能造成数据同步进程OOM。否 1,024 Writer脚本Demo...

Oracle数据

查询目标表的所有信息,获取数据类型。数据同步任务开发:Oracle同步流程引导 Oracle数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导,详细的配置参数解释可在配置界面查看对应参数的文案提示。创建数据源 在进行数据同步...

PostgreSQL数据

否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数,该值决定了数据集成和服务器端的网络交互次数,能够较大的提升数据抽取性能。说明 fetchSize 值过大(>2048)可能造成数据同步进程OOM。否 512 PostgreSQL ...

配置数据识别规则

命中率默认配置为50%,命中率计算公式为:100%*该列中命中识别规则的数据条数/该列数据的总条数。说明 命中率仅对数据内容识别规则生效。确认配置无误后,您可以单击 保存草稿 将新增的敏感字段类型状态置为草稿,您还可以单击 发布使用,...

离线采集AWS资源

调用sdk获取资源数据,ak:akxxx,sk:skxxx,region:cn-north-1,resourceType:aws_ec2 获取到的资源数据条数为:473 调用sdk获取资源数据,ak:akxxx,sk:skxxx,region:cn-north-1,resourceType:aws_nat 获取到的资源数据条数为:3 调用sdk获取...

导入数据

步骤二:确认导入结果 导入数据后,您需要查看导入的目标表与数据文件中的数据条数是否一致,确认所有数据均已成功导入。本文中的示例数据文件 banking.txt 中有41188条数据,banking_yescreditcard.csv、banking_uncreditcard.csv 和 ...

配置DataHub输出组件

另外DataHub对于一次Request请求写入的数据条数限制是10000条,超出10000条会导致任务出错,建议将batchSize设置为小于或等于10000条,避免任务运行出错。字段映射 输入字段:展示上游的输入字段。输出字段:展示输出字段,DataHub的全部...

配置DataHub输出组件

另外DataHub对于一次Request请求写入的数据条数限制是10000条,超出10000条会导致任务出错,建议将batchSize设置为小于或等于10000条,避免任务运行出错。字段映射 输入字段:展示上游的输入字段。输出字段:展示输出字段,DataHub的全部...

管理数据

您可以查看当前表的数据条数、空间大小、项目引用和数据表。若当前表为空间表,可以查看地图数据。说明 非空间表不支持地图预览。若当前数据为栅格数据,您还可以做以下操作。查看栅格元数据:在数据表 操作 栏单击 图标,查看栅格元数据。...

配置Log Service输入组件

批量条数 一次读取的数据条数,系统默认为256,最多为1000条。输出字段 为您展示输出的字段,您也可以通过以下两种方式添加字段:单击右侧的 新建输出字段,填写 来源序号、字段 及选择字段的 类型,单击非该字段显示的区域。单击右侧的 ...

配置Log Service输入组件

批量条数 一次读取的数据条数,系统默认为256,最多为1000条。输出字段 为您展示输出的字段,您也可以通过以下两种方式添加字段:单击右侧的 新建输出字段,填写 来源序号、字段 及选择字段的 类型,单击非该字段显示的区域。单击右侧的 ...

DataHub数据

datahub侧对于一次request请求写入的数据条数限制是10000条,超出10000条数据会超出限制导致任务出错,请根据您单条数据平均数据量*10000条数据的数据总量来从侧方面进行单次写入datahub的数据条数控制。比如每条数据10 k,那么此参数的...

数据管理

重要 导出数据条数不再受查询窗口的条数限制,可自定义导出条数。模拟数据 创建模拟数据。具体操作步骤,请参见 生成测试数据。回到开始 跳转至第一页。上一页 向上翻页。下一页 向下翻页。跳至底部 跳转至最后一页。展示数据量 设置在页面...

离线同步数据质量排查

如果数据同步任务执行完成后,对于数据同步质量(数据条数、数据内容)有相关疑问,在写出端您可以尝试从下列常见情况对照排查:原因 问题描述 解决方案 写出模式选择导致 Writer插件会使用选择的写出模式将源头数据在目标端执行重放,如果...

整库离线同步至Elasticsearch

每批次写入的条数 每次批量写入Elasticsearch的数据条数,即攒够一定条数的数据后,一次性写入Elasticsearch。默认为 1000。您可以根据实际网络情况及数据量大小进行合理配置,减少不必要的网络开销。增量同步 仅当 方案选择 配置为 只增量...

日志服务通过数据集成投递数据

batchSize":256,/一次读取的数据条数,默认为256。splitPk":"","column":["key1","key2","key3"]} },"writer":{"plugin":"odps","parameter":{"datasource":"odps_source",/数据源名,需要和您添加的数据源名一致。table":"test",/目标...

查看数据校验详情

因此,增量校验任务显示的数据条数可能会少于增量变更的数据。仅全量校验任务支持下载订正SQL,且2023年11月20日14:04:52之前启动的全量校验任务需要重新校验一次才支持下载订正SQL。总记录数 是一个估算值,可能会高于 校验完成记录数。若...

数据集成概述

您可以在同步任务配置时,控制同步过程中是否允许脏数据产生,并且支持控制脏数据条数,即当脏数据超过指定条数时,任务失败退出。由于脏数据原因导致离线/实时任务失败,同步任务之前已经成功写入的数据并不会回滚撤销。数据集成为了提升...

BI分析模式数据面板功能介绍

具体功能操作如下:功能 说明 设置返回数据量 单击 查询结果 输入框,自定义输入从数据集中获取并返回的数据条数,即可设定可查询数据的数量上限值。刷新返回数据 单击 图标,可刷新绑定的字段获取返回数据的内容,可保证获取数据的新鲜...

Amazon Redshift数据

Amazon Redshift数据源为您提供读取和写入Amazon Redshift的双向通道,方便您后续可以通过向导模式和脚本模式配置数据同步任务。...否 无 batchSize 每批次导入的最大数据条数。否 2048 writeMode 目前只支持insert。否 insert

通过向导模式配置离线同步任务

您可以在同步任务配置时,控制同步过程中是否允许脏数据产生,并且支持控制脏数据条数,即当脏数据超过指定条数时,任务失败退出。分布式处理能力 用于控制是否开启分布式模式来执行当前任务。开启:分布式执行模式可以将您的任务切片分散...

离线同步能力说明

您可以在同步任务配置时,控制同步过程中是否允许脏数据产生,并且支持控制脏数据条数,即当脏数据超过指定条数时,任务失败退出。数据集成使用调度参数的相关说明 离线同步 数据集成离线同步任务中,可以使用调度参数来指定同步源表及目标...

通过脚本模式配置离线同步任务

您可以在同步任务配置时,控制同步过程中是否允许脏数据产生,并且支持控制脏数据条数,即当脏数据超过指定条数时,任务失败退出。说明 任务整体同步速度除受到上述配置影响外,还受源端数据源性能,同步网络环境等多方面影响,关于同步...

Lindorm实时入湖建仓分析

当前取值固定为earliest,表示自动从最开始的时间点获取数据。每批次消费记录条数:每次通过Lindorm拉取的数据量。生成目标数据规则配置 的参数说明如下:参数名称 参数说明 库名 目标DLA库的名称,库名以字符开头,可包含字符、数字、...

DLA Lakehouse实时入湖

当前取值固定为earliest,表示自动从最开始的时间点获取数据。每批次消费记录条数:表示每次通过DTS拉取的数据量。生成目标数据规则配置 的参数说明如下:参数名称 参数说明 库名前缀 生成目标库的数据路径和元信息名称时,会自动添加该...

配置Teradata输入组件

批量条数 配置数据同步时,每条并发SQL语句读取数据条数,默认的批量条数为1024。输入过滤 配置抽取数据的筛选条件,配置说明如下:配置固定值,抽取对应的数据,例如 ds=20210101。配置变量参数,抽取某一部分数据,例如 ds=${bizdate}...

配置OceanBase输入组件

批量条数 配置数据同步时,每条并发SQL语句读取数据条数,默认的批量条数为1024。输入过滤 配置抽取数据的筛选条件,配置说明如下:配置固定值:抽取对应的数据,例如 ds=20210101。配置变量参数:抽取某一部分数据,例如 ds=${bizdate}...

配置OceanBase输入组件

批量条数 配置数据同步时,每条并发SQL语句读取数据条数,默认的批量条数为1024。输入过滤 配置抽取数据的筛选条件,配置说明如下:配置固定值:抽取对应的数据,例如 ds=20210101。配置变量参数:抽取某一部分数据,例如 ds=${bizdate}...

配置IBM DB2输入组件

批量条数 配置数据同步时,每条并发SQL语句读取数据条数,默认的批量条数为1024。输入过滤 配置抽取数据的筛选条件,配置说明如下:配置固定值,抽取对应的数据,例如 ds=20210101。配置变量参数,抽取某一部分数据,例如 ds=${bizdate}...

配置Teradata输入组件

批量条数 配置数据同步时,每条并发SQL语句读取数据条数,默认的批量条数为1024。输入过滤 配置抽取数据的筛选条件,配置说明如下:配置固定值,抽取对应的数据,例如 ds=20210101。配置变量参数,抽取某一部分数据,例如 ds=${bizdate}...

配置SAP HANA输入组件

批量条数 每个并发SQL语句读取数据条数。默认的批量条数为1024。输入过滤 填写输入字段的过滤信息,例如 ds=${bizdate}。输入过滤 适用于以下两种场景:固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。...

配置ClickHouse输入组件

批量条数 配置数据同步时每条并发SQL语句读取数据条数,默认的批量条数为1024。输入过滤 配置抽取数据的筛选条件。详细配置说明如下:配置固定值,用于抽取对应的数据,例如 ds=20211111。配置变量参数,用于抽取某一部分的数据,例如 ds...

配置Oracle输入组件

批量条数 配置数据同步时,每条并发SQL语句读取数据条数,默认的批量条数为1024。编码方式 选择读取数据的编码方式。Dataphin支持选择的 编码方式 包括 UTF-8、GBK 和 ISO-8859-1。输入过滤 配置抽取数据的筛选条件。详细配置说明如下:...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 数据库备份 数据传输服务 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用