问答 2024-10-29 来自:开发者社区

为什么使用FlinkCDC和Kakfa Sink向Kakfa中发送binlog数据,会存在脏数据?

1.刚开始kafka配置的是精确一次,后来猜想可能与两阶段提交有关,修改为至少一次时候还是会存在该问题。 2.binlog数据和脏数据并非同时发送到kafka的,根据时间戳分析脏数据应该是在保存检查点的时候发送的。请问有大佬遇到过这个问题吗,要怎么处理啊?

文章 2024-09-30 来自:开发者社区

Maxwell:binlog 解析器,轻松同步 MySQL 数据

楔子 先来思考一个问题:首先我们的业务数据都存储在 MySQL 中,现在我们要使用大数据框架(如 Hive、Spark)来对 MySQL 的数据进行分析,那么最关键的一步是什么呢? 没错,就是数据同步,我们首先要将 MySQL 的数据同步到 HDFS 上,而搞过数仓...

Maxwell:binlog 解析器,轻松同步 MySQL 数据
问答 2024-08-26 来自:开发者社区

请问hologres 这个binlog对表的开销有多大,现有的数据写入和查询是否有影响?

请问这个binlog对表的开销有多大,现有的数据写入和查询是否有影响

问答 2024-08-19 来自:开发者社区

在流批混合的数据集成中,为什么选择按库级别而非表级别收集Binlog数据?

在流批混合的数据集成中,为什么选择按库级别而非表级别收集Binlog数据?

问答 2024-08-07 来自:开发者社区

PolarDB的binlog数据量不到1T的情况下,业务低峰期开启能不能导致闪电时间降低?

PolarDB的binlog数据量不到1T的情况下,业务低峰期开启能不能导致闪电时间降低?

问答 2024-08-07 来自:开发者社区

PolarDB开启binlog重启集群会不会影响数据准确性?

PolarDB开启binlog重启集群会不会影响数据准确性?

问答 2024-08-07 来自:开发者社区

给已有的维表开启binlog,然后再Flink中查询 一直显示运行中,没有数据;这是为什么呢?

给已有的维表开启binlog,然后再Flink中查询 一直显示运行中,没有数据;这是为什么呢?在Hologres上查询这个维表是有数据的,Flink需要做什么操作吗?这个catlog是开启binlog的

问答 2024-07-31 来自:开发者社区

在Flink CDC中,为什么3.1复现拿不到binlog数据?

在Flink CDC中,为什么3.1复现拿不到binlog数据?

文章 2024-07-16 来自:开发者社区

实时计算 Flink版产品使用问题之如何指定从特定的binlog位置或最新的binlog位置开始读取数据

问题一:Flink CDC里flinkcdc3.0启动同步任务,还需要添加什么环境吗? Flink CDC里flinkcdc3.0启动同步任务,还需要添加什么环境吗?exec "$JAVA_RUN" -classpath "$CLASSPATH" "${LOG_SETTINGS[@]}" com.ververica.cdc.cli.CliFrontend "$@" ...

实时计算 Flink版产品使用问题之如何指定从特定的binlog位置或最新的binlog位置开始读取数据
问答 2024-07-16 来自:开发者社区

dataworks 通过mysql binlog 同步数据可以走备库吗?

dataworks 通过mysql binlog 同步数据可以走备库吗?mysql的备库

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。