问答 2021-12-08 来自:开发者社区

flink1.11 mysql cdc checkpoint 失败后程序自动恢复,同步数据出现重复

sourcr:mysql-cdc sink:elasticsearch 问题描述: 从mysql中同步表数据至elasticsearch后,进行新增再删除的某条数据出现问题,导致sink失败(没加primary key)。checkpoint失败,程序自动恢复重启后,checkpoint 成功,但是elasticsearch 中的数据是mysql 表中的两倍,出现重复同步情况。 程序的自动恢复.....

问答 2021-12-08 来自:开发者社区

flink 1.13.1 通过yarn-application运行批应用,处理mysql源一亿条数据

我通过flink sql,将mysql的一亿条数据传输到hive库中,通过yarn-application方式运行,结果配置16G的内存,执行失败!*来自志愿者整理的flink邮件归档

问答 2021-12-07 来自:开发者社区

使用 Canal 同步 MySQL 数据至 TiDB中数据的流动经过哪些组件?

使用 Canal 同步 MySQL 数据至 TiDB中数据的流动经过哪些组件?

问答 2021-12-07 来自:开发者社区

单流的一条数据,需要先sink 至mysql,再sink至kafka,并保证两sink的原子性以及s

请问下,有没有大佬做过类似的事情? 另外,flink side out功能,可以将单流分成多流,但是不是分成多流后,但两条流sink的时候,是不是没法保证sink时候的时序? *来自志愿者整理的flink邮件归档

问答 2021-12-07 来自:开发者社区

flink1.11.0读取mysql数据decimal类型会强转成decimal(38,18)的问题

现在遇到一个问题,通过sql-client读取mysql数据时,decimal类型会强转成decimal(38,18) mysql ddl: CREATE TABLE test2 ( money decimal(10,2) DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=utf8; insert into test2 values(10.22); f...

问答 2021-12-06 来自:开发者社区

flink数据sink到mysql 是事务处理怎么解决?

目前使用flink处理kafka数据后sink到mysql,处理完的数据是一个用户ID对应多条记录,都要插入到mysql,所以在sink中会循环list把数据组装成batch提交,所以mysql开启了事务保证一批数据的事务。现在发现程序运行几个小时候会出现mysql死锁!想了解一下大家是怎么处理sink端 > 多条记录的操作 > sink的invoke代码 > @Override...

文章 2021-12-06 来自:开发者社区

Docker实战——MySQL的数据持久化

MySQL的数据持久化问题! 容器删除,数据还在1️⃣获取镜像# docker pull mysql:5.72️⃣运行容器运行容器,需要做数据挂载。安装启动MySQL,需要设置密码官方测试$ docker run --name some-mysql -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql:tag启动自己的MySQL# docker run -d ....

Docker实战——MySQL的数据持久化
问答 2021-12-06 来自:开发者社区

单流的一条数据,需要先sink 至mysql,再sink至kafka,并保证两sink的原子性以及s

单流的一条数据,需要先sink 至mysql,再sink至kafka,并保证两sink的原子性以及sink顺序,是否可以做到?请问下,有没有大佬做过类似的事情? 另外,flink side out功能,可以将单流分成多流,但是不是分成多流后,但两条流sink的时候,是不是没法保证sink时候的时序? *来自志愿者整理的flink邮件归档

问答 2021-12-06 来自:开发者社区

flinksql1.11长时间没有数据写入mysql,出问题

使用flinksql 1.11版本,运行计算好的指标落入mysql,长时间没有数据会报错,导致任务会失败。*来自志愿者整理的flink邮件归档

问答 2021-12-06 来自:开发者社区

flink sql 连接mysql 无数据输出

    我在Idea里用flink-jdbc-connector连接mysql, 建完表后执行env.executeSql("select * from my_table").print()方法,只打印了表头,没有数据是什么原因? flink版本1.11.2 *来自志愿者整理的flink邮件归档

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。