问答 2024-02-26 来自:开发者社区

flink cdc采集mysql数据,异常后以保存点停止,再以保存点启动,出现这个情况怎么办?

flink cdc采集mysql数据,异常后以保存点停止,再以保存点启动,出现最终采集到的数据比源端数据多的问题,有知道这是什么问题造成的吗?

问答 2024-02-26 来自:开发者社区

Flink CDC里mysql-cdc同步到kafka中,对同一条数据多次操作,怎么区分先后?

Flink CDC里mysql-cdc同步到kafka中,对同一条数据多次操作,op_ts字段可能会一样,如何区分先后顺序呢?同一条数据在短时间内有i、d、u操作,操作时间读取过来也是同一个,这咋区分哪个前哪个后呢?

问答 2024-02-26 来自:开发者社区

为什么flink cdc采集mysql全量阶段数据的时候 要加一个 AND NOT的条件?

为什么flink cdc采集mysql全量阶段数据的时候 要加一个 AND NOT的条件?为什么不直接用大于等于 and 小于呢?

文章 2024-02-25 来自:开发者社区

Flink数据问题之连接mysql无数据输出如何解决

问题一:Flink CDC 遇到关于不发生packet造成的卡顿问题该如何解决 主要是为了实现解析自定义的schema,sink端好输出到下游。 想请教一个问题: https://github.com/ververica/flink-cdc-connectors/wiki/MySQL-CDC-Connector#set-a-differnet-server-id-for-...

文章 2024-02-25 来自:开发者社区

Flink数据问题之数据写入mysql失败如何解决

问题一:动态表 Change Log 格式 Flink 动态表的 Change Log 会有四种消息(INSERT, UPDATE_BEFORE, UPDATE_AFTER, DELETE). 其中 UPDATE_BEFORE 对应的是更新之前的完整记录,UPDATE_AFTER 对应的是更新之后的完整记录吗? 我的问题特意强调完整记录,是为了确认 Change Log 的内容是更新后的...

问答 2024-02-25 来自:开发者社区

ADB MySQL湖仓版数据都在oss,如果想跑spark作业,这个数据库合适吗?

ADB MySQL湖仓版数据都在oss,如果想跑spark作业,这个数据库合适吗?我看maxcompute,EMR等好几个服务都支持spark,不知道哪个合适,主要场景是oss做离线计算后,再放入oss

问答 2024-02-25 来自:开发者社区

FLinkSQL同步MySQL时,有遇到上游批量删除20w数据的场景吗?

FLinkSQL同步MySQL时,有遇到上游批量删除20w数据的场景吗,sink端一条条删除非常慢要怎么处理啊,2个小时都删不完?

问答 2024-02-25 来自:开发者社区

Hologres同步mysql数据到holo,我想要把数据一起删除,需要做啥操作吗 ?

Hologres同步mysql数据到holo,然后flink再从holo读数据加工,再加写入holo,现在mysql 数据做了物理删除, holo没一起删除 我想要把数据一起删除,需要做啥操作吗 ?

问答 2024-02-24 来自:开发者社区

DataWorks中ob---mysql 数据调度连接报错?

DataWorks中ob---mysql 数据调度连接报错?报错信息如图所示连接信息如上图

文章 2024-02-23 来自:开发者社区

mysql批量添加数据

1、开启mysql的批量处理能力 在连接url后面添加 ?useServerPrepStmts=false&rewriteBatchedStatements=true 如:jdbc:mysql://127.0.0.1:3306/db?useServerPrepStmts=false&rewriteBatchedStatements=true 2、...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。