Datax问题

datax 配置了"speed":{"byte":512,"channel":6}以及splitPk，为何在执行的只有一个task，这些配置不会起到数据切分作用吗？如果想做到数据切分该如何配置？

针对个connection下的每个表都切分成一个task（task的配置通过Configuration保存），即求笛卡尔积，同时，这里也考虑了splitPk的情况，通过源码可以直接看到每个参数的作用，在遇到插件的相关问题时，可以直接找到对应的插件函数进行排查

datax连接MySQL问题

datax连接MySQL报没有找到合适的java-mysql连接包是啥问题,

datax 数据库同步问题

1、如果我们今天同步100条数据，同步完那条成功哪条失败，datax 会存到表里或什么地方吗？2、一般怎么，处理同步后数据不完整的问题呢？

请教大伙个问题，datax可以同步多张表吗？

本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。https://developer.aliyun.com/article/706511 点击链接欢迎加入感兴趣的技术领域群

datax3的配置问题

如何配置MySQL的增量同步？

DataX3.0抽取掉速问题

如题我在用DataX做抽取的时候发现当数据量到一定程度之后速度就很不如人意了如图在1000万以后速度骤降请问有人遇到过类似的情况吗要怎么处理谢谢

datax数据同步丢数据问题?

datax从oracle同步到ADS时,根据表的更新时间及创建时间来做增量同步时,丢数据,日志没有任何报错,把丢掉的数据,单独重新同步又没有问题,很奇怪啊

Maxcompute的数据上传下载工具Tunnel 和 DataX3.0，问题：1：它们在数据传输时，数据...

Maxcompute的数据上传下载工具Tunnel 和 DataX3.0，问题：1：它们在数据传输时，数据是否加密，解密处理？2：加密的算法是什么？

再请教个问题：用的datax导入全量数据，然后用的ticdc增量的数据，有没什么办法判断这...

再请教个问题：用的datax导入全量数据，然后用的ticdc增量的数据，有没什么办法判断这2个的数据不重复呢？用布隆过滤器会出现误判不能接受，10亿数据，单个key50字节左右，放redis的话占用有点大

1 2 >

您可能感兴趣

.Datax数据 .Datax报错 .Datax同步 .Datax数据库 .使用Datax .Datax数据同步 .Datax同步数据 .Datax分析

{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":5,"count":5}]},"card":[{"des":"数据集成（Data Integration）是阿里集团对外提供的可跨异构数据存储系统的、可靠、安全、低成本、可弹性扩展的数据同步平台，为400+对数据源提供不同网络环境下的全量/增量数据进出通道。","link1":"https://www.aliyun.com/product/cdp","link":"https://www.aliyun.com/product/cdp","icon":"https://img.alicdn.com/tfs/TB1fP99DeL2gK0jSZFmXXc7iXXa-201-200.png","btn2":"产品文档","tip":"大数据workshop，手把手教你如何通过数据集成同步数据并完成用户画像  <a href=\"https://www.aliyun.com/product/cdp\"  target=\"_blank\">立即查看</a>          最新产品和实时动态重磅发布 ，<a href=\"https://www.aliyun.com/product/new?source_type=out_sousuo_feature_0716\" target=\"_blank\">立即查看</a>","btn1":"立即开通","link2":"https://help.aliyun.com/document_detail/137663.html","title":"数据集成"}],"search":[{"txt":"数据集成","link":"https://www.aliyun.com/product/cdp"},{"txt":"Data Integration","link":"https://www.aliyun.com/product/cdp"},{"txt":"数据同步","link":"https://www.aliyun.com/product/cdp"},{"txt":"数据上云","link":"https://www.aliyun.com/product/cdp"},{"txt":"产品动态","link":"https://www.aliyun.com/product/new?source_type=out_sousuo_feature_0716"}],"countinfo":{"search":{"length_pc":0,"length":0},"card":{"length_pc":0,"length":0}},"newCard":[{"ifIcon":"icon","icon":"dide","link":"https://img.alicdn.com/tfs/TB1XY8hGYr1gK0jSZFDXXb9yVXa-1740-328.png","btn1":"立即开通","link1":"https://www.aliyun.com/product/cdp","title":"数据集成","des":"数据集成（Data Integration）是阿里集团对外提供的可跨异构数据存储系统的、可靠、安全、低成本、可弹性扩展的数据同步平台，为400+对数据源提供不同网络环境下的全量/增量数据进出通道。","btn3":"产品文档","link3":"https://help.aliyun.com/document_detail/137663.html","link2":"https://help.aliyun.com/document_detail/118545.html","btn2":"产品价格","iconImg":"","contentLink":"https://www.aliyun.com/product/cdp","infoGroup":[{"infoName":"产品入门","infoContent":{"firstContentName":"快速入门指导","firstContentLink":"https://help.aliyun.com/document_detail/137663.html?spm=a2c4g.11186623.6.685.7a29f8eaBVmURh","lastContentName":"常见问题","lastContentLink":"https://help.aliyun.com/document_detail/154074.html?spm=a2c4g.11186623.6.1157.7c786461qtbcgp"}},{"infoName":"产品动态","infoContent":{"firstContentName":"产品最新动态","firstContentLink":"https://www.aliyun.com/product/new?spm=5176.7946122.1265010.211view.2fbf313cKkub8k&category=218&product=66","lastContentName":"实时数据同步上线","lastContentLink":"https://help.aliyun.com/document_detail/181912.html"}},{"infoName":"最佳实践","infoContent":{"firstContentName":"整库迁移","firstContentLink":"https://help.aliyun.com/document_detail/137809.html","lastContentName":"批量上云","lastContentLink":"https://help.aliyun.com/document_detail/146671.html"}}]}],"simplifiedDisplay":"newEdition"}

{"$env":{"JSON":{}},"$page":{"env":"production"},"$context":{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":5,"count":5}]},"card":[{"des":"数据集成（Data Integration）是阿里集团对外提供的可跨异构数据存储系统的、可靠、安全、低成本、可弹性扩展的数据同步平台，为400+对数据源提供不同网络环境下的全量/增量数据进出通道。","link1":"https://www.aliyun.com/product/cdp","link":"https://www.aliyun.com/product/cdp","icon":"https://img.alicdn.com/tfs/TB1fP99DeL2gK0jSZFmXXc7iXXa-201-200.png","btn2":"产品文档","tip":"大数据workshop，手把手教你如何通过数据集成同步数据并完成用户画像  <a href=\"https://www.aliyun.com/product/cdp\"  target=\"_blank\">立即查看</a>          最新产品和实时动态重磅发布 ，<a href=\"https://www.aliyun.com/product/new?source_type=out_sousuo_feature_0716\" target=\"_blank\">立即查看</a>","btn1":"立即开通","link2":"https://help.aliyun.com/document_detail/137663.html","title":"数据集成"}],"search":[{"txt":"数据集成","link":"https://www.aliyun.com/product/cdp"},{"txt":"Data Integration","link":"https://www.aliyun.com/product/cdp"},{"txt":"数据同步","link":"https://www.aliyun.com/product/cdp"},{"txt":"数据上云","link":"https://www.aliyun.com/product/cdp"},{"txt":"产品动态","link":"https://www.aliyun.com/product/new?source_type=out_sousuo_feature_0716"}],"countinfo":{"search":{"length_pc":0,"length":0},"card":{"length_pc":0,"length":0}},"newCard":[{"ifIcon":"icon","icon":"dide","link":"https://img.alicdn.com/tfs/TB1XY8hGYr1gK0jSZFDXXb9yVXa-1740-328.png","btn1":"立即开通","link1":"https://www.aliyun.com/product/cdp","title":"数据集成","des":"数据集成（Data Integration）是阿里集团对外提供的可跨异构数据存储系统的、可靠、安全、低成本、可弹性扩展的数据同步平台，为400+对数据源提供不同网络环境下的全量/增量数据进出通道。","btn3":"产品文档","link3":"https://help.aliyun.com/document_detail/137663.html","link2":"https://help.aliyun.com/document_detail/118545.html","btn2":"产品价格","iconImg":"","contentLink":"https://www.aliyun.com/product/cdp","infoGroup":[{"infoName":"产品入门","infoContent":{"firstContentName":"快速入门指导","firstContentLink":"https://help.aliyun.com/document_detail/137663.html?spm=a2c4g.11186623.6.685.7a29f8eaBVmURh","lastContentName":"常见问题","lastContentLink":"https://help.aliyun.com/document_detail/154074.html?spm=a2c4g.11186623.6.1157.7c786461qtbcgp"}},{"infoName":"产品动态","infoContent":{"firstContentName":"产品最新动态","firstContentLink":"https://www.aliyun.com/product/new?spm=5176.7946122.1265010.211view.2fbf313cKkub8k&category=218&product=66","lastContentName":"实时数据同步上线","lastContentLink":"https://help.aliyun.com/document_detail/181912.html"}},{"infoName":"最佳实践","infoContent":{"firstContentName":"整库迁移","firstContentLink":"https://help.aliyun.com/document_detail/137809.html","lastContentName":"批量上云","lastContentLink":"https://help.aliyun.com/document_detail/146671.html"}}]}],"simplifiedDisplay":"newEdition"}}

数据集成

数据集成（Data Integration）是阿里集团对外提供的可跨异构数据存储系统的、可靠、安全、低成本、可弹性扩展的数据同步平台，为400+对数据源提供不同网络环境下的全量/增量数据进出通道。

产品入门

产品动态

最佳实践