问答 2024-03-01 来自:开发者社区

Flink1.18.1和CDC2.4.1 本地没问题 提交任务到服务器 报错

Flink1.18.1和CDC2.4.1 本地没问题 提交任务到服务器 报错java.lang.NoClassDefFoundError: Could not initialize class io.debezium.connector.mysql.MySqlConnectorConfig上面是全部jar包

文章 2024-02-26 来自:开发者社区

Flink问题之source并行度不同导致任务没有数据落地如何解决

问题一:‘=-yD Kerberos 认证问题 大家好 我们这里有通过-yd动态的提交Kerberos认证参数的需求 想问下这个jira为啥被标记为了won’t fix,谢谢 https://issues.apache.org/jira/browse/FLINK-12130 参考回答: 这个问题在最新的代码上已经修复了,在flink 1.9 上...

文章 2024-02-26 来自:开发者社区

Flink问题之从SavePoint启动任务修改的代码不生效

问题一:关于jdbc connector扩展问题 hi all我这里有个需求需要从sql里面写数据到clickhouse里面,但是看源码,发现并不好扩展,https://github.com/apache/flink/blob/d04872d2c6b7570ea3ba02f8fc4fca02daa96118/flink-connectors/flink-connector-jd...

问答 2024-02-26 来自:开发者社区

Flink CDC里提交一个sql任务,如何在sql运行中,能查看日志任务?

在使用 Flink CDC 提交 SQL 任务到 Yarn 时,是否有办法在 SQL 任务运行过程中查看或监控相关的日志信息?另外在 Yarn 的 Web 界面上能否看到具体执行的 SQL 任务细节?我的目的是识别和定位哪些特定的 SQL 任务在 Yarn 集群上占用了大量内存资源。

文章 2024-02-26 来自:开发者社区

Flink部署问题之带上savepoint部署任务报错如何解决

问题一:Flink Cli 部署问题 大家好,我在部署的时候发现了一个问题,我通过restAPI接口停掉了一个任务并保存了它的savepoint(步骤:/jobs/overview ---> /jobs/{jobid}/savepoints ---> /jobs/{jobid}/savepoints/{triggerid}),但我通过flink命令带上savepoint部署任...

文章 2024-02-26 来自:开发者社区

在Flink实时任务中,POJO(Plain Old Java Object)对象的模式演进可能会引起不兼容的问题

在Flink实时任务中,POJO(Plain Old Java Object)对象的模式演进可能会引起不兼容的问题,特别是在对已有类进行修改并新增字段后,如果尝试使用新的POJO类从保存点恢复作业时,可能会遇到状态迁移或序列化方面的错误。面对这样的问题,可以采取以下几种方法进行处理: ...

问答 2024-02-25 来自:开发者社区

Flink CDC里 任务重启由rocksdb状态后端改为hashmap行不行呢?

Flink CDC里 任务重启由rocksdb状态后端改为hashmap行不行呢?

文章 2024-02-25 来自:开发者社区

Flink报错问题之cdc任务报错如何解决

问题一:flink 1.11 cdc相关问题 小白通过debezium将pgsql cdc数据同步至kafka之后,使用我们flink的sql client提交测试任务,但当kafka端cdc json数据一开始发送,任务即报错,通过web ui log查看界面发现错误日志如下,还请大佬帮忙分析,谢谢!CREATE TABLE pgsql_person_cdc( id BIGIN...

文章 2024-02-25 来自:开发者社区

Flink报错问题之提交flink sql任务报错如何解决

问题一:1.11.1 报OutOfMemoryError: Metaspace. 错误      我是用flink sql,通过JDBC源读取mysql表数据,多次提交后,报OutOfMemoryError: Metaspace.错误,最后分析是mysql驱动包中有个守护线程一直在检测清理失效的connection,导致有线程一直存在,class资源无法释...

问答 2024-02-25 来自:开发者社区

Flink这个参数后 yarn.provided.lib.dirs 提交到yarn的任务报这个错?

Flink这个参数后 yarn.provided.lib.dirs 提交到yarn的任务报这个错?Failing this attempt.Diagnostics: [2024-02-22 11:44:37.726]Failed to download resource { { hdfs://hdfs-ha/user/dw_cn_2c/streampark/flink/flink-1.14.5/....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

+关注