有没有大佬 搞过 Flink CDC 整库同步 oracle 到 kafka , 合并的那种 ?
有没有大佬 搞过 Flink CDC 整库同步 oracle 到 kafka , 合并source 的那种 ?
DataWorks实时同步任务同步Mysql数据至Kafka时,加载Kafka设置的Topic列表?
DataWorks实时同步任务同步Mysql数据至Kafka时,加载Kafka设置的Topic列表异常,Kafka链接正常,不过目前已恢复正常?
部分mysql 更新的数据,kafka中没有同步.
环境信息 canal version 1.1.0 mysql version 5.7 问题描述 有一些在mysql 更新的数据,canal 没有发送到kafka. 步骤重现 环境正常运行 期待结果 更新数据到MySQL 现执行情况 数据未更新到MySQL 是MySQL 中的更新没有写入到binlog...
canal1.1.2 批量同步数据到kafka速度很慢
环境信息 canal version1 1.1.2 mysql version 5.7 问题描述 我配置的canal直接同步数据到kafka里存储到kafka里的数据是json格式的,发现数据同步的很慢写入到kafka里的速度大概是7M/S,差不多是400条信心每秒。 看到官方文档上说canal 1...
通过canal同步数据,消费kafka数据时出现了别的数据库里的信息
环境信息 canal version v1.1.2 mysql version v5.7.22 kafka version v1.1.0 问题描述 我在instance.properties里配置的数据库是canal_test,但是在kafka上手动消费canal_test对应的topic时总是不定...
请问1.13 flatMessages为何没有同步发送kafka
请问1.13源码里,CanalKafkaProducer类在发送probuf数据时使用同步发送方式,发送json时候仍然使用异步发送,之前用异步会出现丢数情况,请问这里是否应该改成同步发送 private void produce(String topicName, int partition, F...
canal-adapter 使用kafka模式同步mysql到es,未报错未同步, logger适配
canal-adapter 使用kafka模式同步mysql到es,未报错未同步, 使用etl进行全量同步数据正常同步到es, 猜测可能是kafka没有数据, 但是logger适配器有打出dml信息。 有谁遇到过这个情况 版本 canal-server 1.1.3 canal-adapter 1.1...
canal同步数据到kafka,监控delay显示延迟很大
最近使用canal同步一张表的数据到kafka,每天晚上1点多会有一个定时任务批量更新这个表,会出现波峰情况,但是从监控上看,延迟最大竟然有4个多小时,有点理解不了。请大佬帮忙分析下, 监控图如下 kafka的配置如下: canal.mq.retries = 1 canal.mq.batchSize...
flink cdc支持同步整个mongo库嘛,大佬有案例嘛,kafka,两种都有,insert的时候
flink cdc支持同步整个mongo库嘛,大佬有案例嘛,kafka,两种都有,insert的时候怎么写啊,是的变更数据,fink sql该怎么写呢,我理解的是要在fink sql里创建一张表,对接整个mongo库的数据,是这样吗,Sql也可以实现,看起来是多个库同表的正则
请教下DataWorks中odps有没有使用消息同步的技术方案?Kafka到odps
请教下DataWorks中odps有没有使用消息同步的技术方案?Kafka到odps
更新时间 2023-09-19 18:58:35
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
社区圈子