问答 2023-12-03 来自:开发者社区

Flink任务就是简单的导数据任务,不太理解为什会有这么多 none heap 的内存被消耗掉?

Flink任务就是简单的导数据任务,从湖里面的一个表到另一个表不太理解为什会有这么多 none heap 的内存被消耗掉?

问答 2023-12-03 来自:开发者社区

请教个 flink 跑批任务的问题 我们的集群跑在 k8s 上面,想请教下为什么会出现这种问题?

请教个 flink 跑批任务的问题 我们的集群跑在 k8s 上面,跑某些数据量大的批任务的时候几乎 100% 会失败,查原因都是某个 taskmanager 被 cgroup 杀掉了,看 gc 日志 heap 这些内存的占用并不高 想请教下为什么会出现这种问题? 有没有什么参数可以控制内存的使用?

问答 2023-12-03 来自:开发者社区

有那位遇到这种情况:flink任务:,以至于当前的任务窗口无法触发计算?

有那位大佬遇到这种情况:1.问题:flink任务:存在数据大于当前时间一年的数据,导致水位线推进到一年以后,以至于当前的任务窗口无法触发计算2.任务描述:1.创建kafka的动态表;2.创建视图进行过滤:基于该动态表设置时间过滤条件(时间小于等于当前时间+1 天的数据),但是水位线仍然会推进到大于当前时间一年的3.疑惑:明明已经过滤脏数据,为什么水位线还会推进,是这个过滤条件加的位置不对,时间过....

问答 2023-12-03 来自:开发者社区

Flink CDC如果binlog找不到配置的timestamp,任务是什么运行情况?

Flink CDC中mysql用timestamp启动,如果binlog找不到配置的timestamp,任务是什么运行情况?

问答 2023-12-01 来自:开发者社区

Flink CDC有没有集群升级或者中间遇到问题要重启的场景 线上很多任务是怎么启动?

Flink CDC有没有集群升级或者中间遇到问题要重启的场景 线上很多任务是怎么启动 集群重启所有的job不都挂掉了么 如果不加兜底监控中间很多任务会丢数据 还得手动补数 这种场景你们是有啥比较好的方案嘛?

问答 2023-12-01 来自:开发者社区

Flink CDC中oralce cdc 到doris,任务提交成功,也不显示异常?

Flink CDC中oralce cdc 到doris,任务提交成功,但是子任务都是一直加载状态,也不显示异常?

问答 2023-12-01 来自:开发者社区

Flink CDC中已经执行的sql,是否可以在任务不中断情况下对语句进行修改?

Flink CDC中已经执行的sql,是否可以在任务不中断情况下对语句进行修改?

问答 2023-12-01 来自:开发者社区

Flink CDC采用flink on yarn跑cdc任务,是资源的问题吗?

Flink CDC采用flink on yarn跑cdc任务,container意外退出,是资源的问题吗?

问答 2023-12-01 来自:开发者社区

Flink CDC2.4.2mysql和sqlserver在一起集群启动任务,一个错误引发了两个包?

Flink CDC2.4.2mysql和sqlserver在一起集群启动任务,报错,这个错误看起来像是包冲突了,一个错误引发了两个包?

问答 2023-12-01 来自:开发者社区

Flink CDC与上传作业jar包到flink执行,两者在执行任务上会有区别吗?

Flink CDC代码中使用ClusterClient.submitJob,与上传作业jar包到flink执行,两者在执行任务上会有区别吗?一直在用这个connector-kafka版本

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注