问答 2024-03-25 来自:开发者社区

Flink CDC里任务启动后一直处于starting是咋回事儿?

Flink CDC里任务启动后一直处于starting是咋回事儿?内存占用也还有。启动了大概400个任务,内存三台机器还剩300g。

文章 2024-03-24 来自:开发者社区

Flink1.18.1和CDC2.4.1 本地没问题 提交任务到服务器 报错java.lang.NoClassDefFoundError: Could not initialize class io.debezium.connector.mysql.MySqlConnectorConfig

Flink1.18.1和CDC2.4.1 本地没问题 提交任务到服务器 报错java.lang.NoClassDefFoundError: Could not initialize class io.debezium.connector.mysql.MySqlConnectorConfig 这个错误是因为在服务器上缺少了Debezium的MySQL连接器依赖。你需要将Debezium的MySQL....

问答 2024-03-20 来自:开发者社区

flink的jar包任务,如果要配置日志级别修改为debug,这个是在哪里改呢?

flink的jar包任务,如果要配置日志级别修改为debug,这个是在哪里改呢?

问答 2024-03-20 来自:开发者社区

我flink stream任务只有输入-》窗口算子-》输出,也没法一次性获取并输出么?

我flink stream任务只有输入-》窗口算子-》输出,窗口时间用的是processtime,窗口函数是processWindowFunction,窗口大小是30s,刚启动我看窗口算子receive的记录就已经达到源端的数据上限了,所以按道理不到30s,源端所有数据都应该进入窗口了,那么数据应该一次性从窗口算子中输出,按道理应该不到一分钟就应该跑完了,但是我看窗口算子下游还在慢慢传出数据,持....

问答 2024-03-19 来自:开发者社区

Flink CDC 里用虚拟内存跑任务会不会很慢呀?

Flink CDC 里用虚拟内存跑任务会不会很慢呀?

问答 2024-03-19 来自:开发者社区

flink cdc 怎么用定时执行批任务?

flink cdc 怎么用定时执行批任务? ververica connector clickhouse 支持flink sql 吗?

问答 2024-03-19 来自:开发者社区

Flink CDC 里这里整库同步mysql的数据到doris 两台服务器 提交任务的时候报错?

在 Flink CDC 中同步 MySQL 数据到 Doris 时,我在尝试整库同步到两台服务器上,提交任务时遇到了错误。从提供的错误信息看,可能是由于不同网段的端口没有打通。想问的是,sink 端 Doris 需要打通哪些端口?出现的错误是否与端口有关,需要在网络上进行什么特别的配置吗,还是说这是我的服务器设置的问题?

问答 2024-03-19 来自:开发者社区

flink-cdc-mysql2.3和2.4能支持只做全量查询,然后结束任务吗?有这种参数配置吗?

flink-cdc-mysql2.3和2.4能支持只做全量查询,然后结束任务吗?有这种参数配置吗?

问答 2024-03-19 来自:开发者社区

Flink CDC 里3台768G内存的机器跑1000个flink job合理吗?

尝试在3台768G内存机器上跑1000个Flink任务,但面临配置问题导致任务无法正常运行。尽管调整了Yarn虚拟内存至超过物理内存,配置JobManager为1024可以运行880个任务,仍然存在内存分配不均和Swap满载的问题。调整单个任务的TaskManager(默认1500)后仍出现内存溢出,有解决办法吗?

问答 2024-03-19 来自:开发者社区

表格存储 ots通道,同一个通道id可以给多个flink任务使用么?

表格存储 ots通道,同一个通道id可以给多个flink任务使用么,接收到的变更消息是一样还是只能给一个使用?还是说不可以,如果要消费一样的,必须在重新创建一个通道。

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

+关注