问答 2024-02-25 来自:开发者社区

Flink CDC里 任务重启由rocksdb状态后端改为hashmap行不行呢?

Flink CDC里 任务重启由rocksdb状态后端改为hashmap行不行呢?

文章 2024-02-25 来自:开发者社区

Flink报错问题之cdc任务报错如何解决

问题一:flink 1.11 cdc相关问题 小白通过debezium将pgsql cdc数据同步至kafka之后,使用我们flink的sql client提交测试任务,但当kafka端cdc json数据一开始发送,任务即报错,通过web ui log查看界面发现错误日志如下,还请大佬帮忙分析,谢谢!CREATE TABLE pgsql_person_cdc( id BIGIN...

文章 2024-02-25 来自:开发者社区

Flink报错问题之提交flink sql任务报错如何解决

问题一:1.11.1 报OutOfMemoryError: Metaspace. 错误      我是用flink sql,通过JDBC源读取mysql表数据,多次提交后,报OutOfMemoryError: Metaspace.错误,最后分析是mysql驱动包中有个守护线程一直在检测清理失效的connection,导致有线程一直存在,class资源无法释...

问答 2024-02-25 来自:开发者社区

Flink这个参数后 yarn.provided.lib.dirs 提交到yarn的任务报这个错?

Flink这个参数后 yarn.provided.lib.dirs 提交到yarn的任务报这个错?Failing this attempt.Diagnostics: [2024-02-22 11:44:37.726]Failed to download resource { { hdfs://hdfs-ha/user/dw_cn_2c/streampark/flink/flink-1.14.5/....

文章 2024-02-24 来自:开发者社区

Flink CDC数据同步问题之用savepoint重启任务报错如何解决

问题一:请教下,使用flink cdc同步数据到hudi ,如果mysql 字段有新增,怎么弄 请教下,使用flink cdc同步数据到hudi ,如果mysql 字段有新增,怎么弄 关于本问题的更多回答可点击进行查看: https://developer.aliyun.com/ask/503721?spm=a2c6h.13066369.questio...

Flink CDC数据同步问题之用savepoint重启任务报错如何解决
问答 2024-02-21 来自:开发者社区

flink CDC中,同步任务重并没有同步mysql某张表,如果未被同步的表结构变更了怎么办?

flink CDC中,同步任务重并没有同步mysql某张表,如果未被同步的表结构变更了,flinkCDC 同步任务也会报错。按理说应该不会,是不是可以做些设置呢?

问答 2024-02-20 来自:开发者社区

Flink写hudi,任务一致阻塞,checkpoint时间很长,是有什么问题吗?需要怎么优化呢?

Flink写hudi,任务一致阻塞,checkpoint时间很长,是有什么问题吗?需要怎么优化呢?

文章 2024-02-20 来自:开发者社区

如果从EARLIEST_OFFSET启动Flink CDC任务时遇到错误

如果从EARLIEST_OFFSET启动Flink CDC任务时遇到错误,而从最新位置消费则没有问题,那么可能与binlog文件有关。 在MySQL中,binlog(binary log)是用于记录数据库写操作的日志文件。当使用Flink CDC捕获MySQL的数据变更时,它会读取binlog文件以获取数据变更信...

问答 2024-02-14 来自:开发者社区

Flink任务做sp大概率出现 容器内存超用被kill 有朋友出现过吗 有解决办法吗?

Flink任务做sp大概率出现 容器内存超用被kill 有朋友出现过吗 有解决办法吗?1.13.5

问答 2024-02-14 来自:开发者社区

flink cdc 从savepoint启动 然后报这个 错误怎么办呢?

在Flink CDC中,从savepoint启动任务时遇到“this is no longer available on the server. Reconfigure the connector to use a snapshot when needed.”错误。首次启动时使用StartupOptions.specificOffset可正常运行,但在恢复时使用StartupOptions.la....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注