问答 2023-10-17 来自:开发者社区

dataworks拉取mysql的数据,是拉binlog的数据吗?

dataworks拉取mysql的数据,是拉binlog的数据吗?

问答 2023-10-03 来自:开发者社区

Flink CDC中如过binlog做了2天的TTL, 这个表的历史数据会读取进来么?

问题1:Flink CDC中如过binlog做了2天的TTL,一个静态表从未是一个月前的,从未更新过,消费模式用latest, 通过flinkcdc的savepoint动态加入这个表, 这个表的历史数据会读取进来么?历史数据是通过查询原表,新增的菜通过binlog吗?问题2:历史数据是通过查询原表,新增的菜通过binlog吗

问答 2023-09-28 来自:开发者社区

Flink CDC怎么确认这个点位的数据是否在binlog里?

Flink CDC怎么确认这个点位的数据是否在binlog里?pos=212835131我用的timestamp ,没配置点位信息,解析出来是这玩意,没看到有啥sql?

问答 2023-09-27 来自:开发者社区

mysql如果不开binlog,用flinkcdc可以查到数据吗?

mysql如果不开binlog,用flinkcdc可以查到数据吗

文章 2023-09-23 来自:开发者社区

大数据Spark Streaming实时处理Canal同步binlog数据

1. Canal 环境搭建环境参考:java利用canal监听数据库大数据同步工具CanalSpark中的Spark Streaming可以用于实时流项目的开发,实时流项目的数据源除了可以来源于日志、文件、网络端口等,常常也有这种需求,那就是实时分析处理MySQL中的增量数据。面对这种需求当然我们可以通过JDBC的方式定时查询Mysql,然后再对查询到的数据进行处理也能得到预期的结果,但是Mys....

大数据Spark Streaming实时处理Canal同步binlog数据
问答 2023-09-20 来自:开发者社区

mysql-cdc获取到的数据中有一个pos是开始读取当前数据binlog的开始位置我应该怎样获取?

mysql-cdc中获取到的数据中有一个pos是开始读取当前数据binlog的开始位置我应该怎样获取到这条数据截止位置我想在flink中获取到这个位置方便以后程序退出了手动指定需要从那个位置读取,应该扩展哪个方法能获取到?日志里面有这么一样就是这个我应该怎样获取到

问答 2023-09-17 来自:开发者社区

如果我把这个作为源数据表 binlog变动一次 flink里面是mysql该表的实时变动数据吗?

CREATE TABLE mysqlcdc_source ( order_id INT, order_date TIMESTAMP(0), customer_name STRING, price DECIMAL(10, 5), product_id INT, order_status BOOLEAN, PRIMARY KEY(order_id) NOT ENFORCE...

问答 2023-09-13 来自:开发者社区

Flink CDC同步binlog数据发现 反序列化很耗资源,cpu90%以上,这个有啥优化措施么?

Flink CDC同步binlog数据发现 反序列化很耗资源,cpu 90%以上,延迟很高,这个有啥优化措施么。cdc版本2.4.1 d?

问答 2023-09-13 来自:开发者社区

flink 是开启binlog功能的,订阅的表也有数据程序不报错,但是消费不出数据来。这是什么原因?

flink 1.3.0, cdc 2.2.0,startupOptions是initial,mysql是开启binlog功能的,订阅的表也有数据程序不报错,但是消费不出数据来。这是什么原因?debug进入到 这个地方,抛出如下异常:java.io.InvalidClassException: org.antlr.v4.runtime.atn.ATN; Could not deserialize ....

问答 2023-09-12 来自:开发者社区

Flink CDC采集的Mysql Binlog数据 序列化的时候 串列的?

Flink CDC采集的Mysql Binlog数据 序列化的时候 串列的?后端在修改表结构时 使用 了 add column after 指定列只采一张表 问题又还没有复现

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。