问答 2023-08-29 来自:开发者社区

各位大佬好,咨询一个问题,FlinkCDC中的全量同步是指的Binlog里面的全量数据吗?

各位大佬好,咨询一个问题,FlinkCDC中的全量同步是指的Binlog里面的全量数据吗?如果想同步整张表的话,可以怎么操作呢?

文章 2023-08-17 来自:开发者社区

FlinkCDC 增量读取 binlog 数据比较慢

FlinkCDC 增量读取 binlog 数据比较慢,可能是因为以下原因: 网络延迟:FlinkCDC 与 MySQL 之间的网络延迟可能导致读取 binlog 数据变慢。您可以尝试优化网络连接,减小延迟。数据量过大:如果您的数据库中数据量非常大,则读取 binlog 数据也会变慢。您可以尝试分批读取数据...

问答 2023-08-16 来自:开发者社区

Flink CDC中现在binlog里的数据,能知道是哪个schema版本的吗?

Flink CDC中现在binlog里的数据,能知道是哪个schema版本的吗?

问答 2023-08-13 来自:开发者社区

大数据计算MaxCompute我现在弄的这个数据合并 历史数据+datahub的binlog变化?

大数据计算MaxCompute我现在弄的这个数据合并 历史数据+datahub的binlog变化数据 ,跑起来贼耗时, 历史数据有七八亿, 每天对齐增删改都有, 想搞实时有点难搞,你们的实时 准实时咋搞的?

问答 2023-08-09 来自:开发者社区

flinkcdc从时间戳重启,是总binlog开头开始读取,然后过滤到对应时间点多数据吗?

flinkcdc从时间戳重启,是总binlog开头开始读取,然后过滤到对应时间点多数据吗?发现时间戳重启读不到数据flinkcdc2.3.0 flink1.14.5。传入一个时间戳,读取从这时间戳开始的binlog在测试。

问答 2023-08-08 来自:开发者社区

咱们flink采集mysql增量数据是通过读取binlog吗?

咱们flink采集mysql增量数据是通过读取binlog吗?

问答 2023-08-01 来自:开发者社区

咨询一下,Flink CDC读取Mysql binlog的时候是在哪里将binlog的数据转换成?

问题1:咨询一下,Flink CDC读取Mysql binlog的时候是在哪里将binlog的数据转换成RowData的呢,想看看varchar等字符型数据的编码转换逻辑?问题2:这里的转换和io.debezium.connector.mysql.MySqlValueConverters里的转换有什么关联吗?

问答 2023-08-01 来自:开发者社区

大佬们,Flink CDC中采集tidb的数据,是否需要开启binlog日志呀?

大佬们,Flink CDC中采集tidb的数据,是否需要开启binlog日志呀?

问答 2023-07-31 来自:开发者社区

问下:Flink CDC中查一遍数据库的数据,是基于表查还是基于日志文件? 如果binlog是后面加

问下:Flink CDC中查一遍数据库的数据,是基于表查还是基于日志文件? 如果binlog是后面加的,没有历史数据,应该查不到吧?

问答 2023-07-26 来自:开发者社区

Flink CDC中增量监听binlog日志同步的时候也会把全部数据都加载到内存吗?

Flink CDC中增量监听binlog日志同步的时候也会把全部数据都加载到内存吗?有没有试过?我现在还在全量同步阶段,如果单独的增量同步不存在全部加载到内存的问题的话,可不可以先用维表的方式做完全量同步。然后再全部流表,但是启动时跳过快照阶段,直接指定位点启动一个新的任务做后续更新同步。

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。