问答 2024-03-19 来自:开发者社区

Flink CDC 里这里整库同步mysql的数据到doris 两台服务器 提交任务的时候报错?

在 Flink CDC 中同步 MySQL 数据到 Doris 时,我在尝试整库同步到两台服务器上,提交任务时遇到了错误。从提供的错误信息看,可能是由于不同网段的端口没有打通。想问的是,sink 端 Doris 需要打通哪些端口?出现的错误是否与端口有关,需要在网络上进行什么特别的配置吗,还是说这是我的服务器设置的问题?

问答 2024-03-19 来自:开发者社区

flink-cdc-mysql2.3和2.4能支持只做全量查询,然后结束任务吗?有这种参数配置吗?

flink-cdc-mysql2.3和2.4能支持只做全量查询,然后结束任务吗?有这种参数配置吗?

问答 2024-03-19 来自:开发者社区

Flink CDC 里3台768G内存的机器跑1000个flink job合理吗?

尝试在3台768G内存机器上跑1000个Flink任务,但面临配置问题导致任务无法正常运行。尽管调整了Yarn虚拟内存至超过物理内存,配置JobManager为1024可以运行880个任务,仍然存在内存分配不均和Swap满载的问题。调整单个任务的TaskManager(默认1500)后仍出现内存溢出,有解决办法吗?

问答 2024-03-19 来自:开发者社区

表格存储 ots通道,同一个通道id可以给多个flink任务使用么?

表格存储 ots通道,同一个通道id可以给多个flink任务使用么,接收到的变更消息是一样还是只能给一个使用?还是说不可以,如果要消费一样的,必须在重新创建一个通道。

问答 2024-03-19 来自:开发者社区

Flink1.18 执行cdc任务,抛这个异常,如何解决?

Flink1.18 执行cdc任务,抛这个异常?

文章 2024-03-17 来自:开发者社区

Flink CDC产品常见问题之mysql整库同步到starrock时任务挂掉如何解决

问题一:flink cdc 这个错是什么问题导致的呢?flink cdc insert-only records but DataStream API record contains: UPDATE_BEFORE 这个错是什么问题导致的呢?参考回答:在 Apache Flink CDC 的应用场景中,如果配置为仅处理 INSE...

文章 2024-03-17 来自:开发者社区

Flink CDC产品常见问题之mysql整库同步到starrock时任务挂掉如何解决

问题一:flink cdc 这个错是什么问题导致的呢? flink cdc insert-only records but DataStream API record contains: UPDATE_BEFORE 这个错是什么问题导致的呢? 参考回答: 在 Apache Flink CDC 的应用场景中,如果配置为仅处理 INSERT 操作(inse...

Flink CDC产品常见问题之mysql整库同步到starrock时任务挂掉如何解决
文章 2024-03-14 来自:开发者社区

Flink CDC产品常见问题之sql运行中查看日志任务失败如何解决

问题一:Flink CDC里mysql-cdc同步到kafka中,对同一条数据多次操作,怎么区分先后? Flink CDC里mysql-cdc同步到kafka中,对同一条数据多次操作,op_ts字段可能会一样,如何区分先后顺序呢?同一条数据在短时间内有i、d、u操作,操作时间读取过来也是同一个,这咋区分哪个前哪个后呢? 参考答案: 我是自己解析之后按照...

文章 2024-03-14 来自:开发者社区

flink cdc 提交问题之提交任务异常如何解决

问题一:Flink CDC里tidb的cdc是确定不支持tidb7还是说没有通过测试呀 ? Flink CDC里tidb的cdc是确定不支持tidb7还是说没有通过测试呀 我这里有俩套tidb7 一套同步数据没问题 有一套同步出问题 上 官网一看才发现支持到6是怎么回事? 参考回答: 官网是多少就只能支持到多少。 关于本问题的更多回答...

flink cdc 提交问题之提交任务异常如何解决
问答 2024-03-11 来自:开发者社区

Flink CDC 里生产突然就报这个了,然后,重启任务还是抓不到变动了怎么办?

Flink CDC 里生产突然就报这个了,然后,重启任务还是抓不到变动了怎么办?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注