问答 2023-10-18 来自:开发者社区

重启Flink CDC集群,历史的job任务会丢失,但是任务没有存下来?

重启Flink CDC集群,历史的job任务会丢失,我刚刚吧上传得job给存下来了,但是任务没有存下来?我现在任务启动就会报错,因为没有开数据库,但是为什么第一次重启时间间隔这么久呢?

文章 2023-10-16 来自:开发者社区

Flink集群使用kafka_appender收集flink产生的日志,但是现在实时运行的任务超过了

Flink日志采集有多种方式,具体选择哪种方式需要根据实际情况来定。以下是一些常见的方法: 使用KafkaAppender:使用KafkaAppender可以将Flink的日志收集到Kafka中,方便后续的存储和分析。但是,当Flink的任务数量较多时,可能会导致Kafka集群的压力增大,需要采取一...

问答 2023-10-16 来自:开发者社区

Flink集群使用kafka_appender收集flink产生的日志,但是现在实时运行的任务超过了

Flink集群使用kafka_appender收集flink产生的日志,但是现在实时运行的任务超过了三千个,运行的yarn-container有20万+。导致存储日志的kafka集群连接数过多,kafka集群压力有点大,请教各位大佬flink日志采集这块还有什么好的方式吗

文章 2023-10-11 来自:开发者社区

Fink--3、Flink运行时架构(并行度、算子链、任务槽、作业提交流程)

1、系统架构(以Standalone会话模式为例)1、作业管理器(JobManager)JobManager是一个Flink集群中任务管理和调度的核心,是控制应用执行的主进程。也就是说,每个应用都应该被唯一的JobManager所控制执行。JobManager又包含三个不同的组件(1)JobMasterJobMaster是JobManager中最核心的组件,负责处理单独的作业(Job)。所以Jo....

Fink--3、Flink运行时架构(并行度、算子链、任务槽、作业提交流程)
问答 2023-10-10 来自:开发者社区

Flink CDC中web端提交jar包任务的时候会把参数里的单引号自动去掉吗?

Flink CDC中web端提交jar包任务的时候会把参数里的单引号自动去掉吗?代码里面打印这个参数,单引号没了?

文章 2023-10-10 来自:开发者社区

Flink任务的subtask状态取决于多个因素

Flink任务的subtask状态取决于多个因素,包括但不限于任务分配策略、任务资源、任务初始化等。如果一个subtask一直处于初始化状态,可能有以下几种原因: 任务分配问题:Flink的任务分配是基于balancing strategy(平衡策略)来进行的。如果某些subtask被分配到资源较少的节点上&#x...

问答 2023-10-09 来自:开发者社区

flink任务提交后一些subtask一直处于初始化

flink任务提交后一些subtask显示running,但是一些subtask一直处于初始化是什么原因导致的呢

问答 2023-10-07 来自:开发者社区

Flink的CDC这边我不是一个任务要读一次binlog和表吗?那可以第一个任务去读同一个CDC吗?

Flink的CDC这边 我不是一个任务要读一次binlog 和表吗? 那可以 第一个任务去读同一个CDC吗?

问答 2023-10-03 来自:开发者社区

Flink CDC有提交 yarn app模式的实时任务吗?

Flink CDC有在生产实践中使用flink sql client提交 yarn app模式的实时任务吗?

问答 2023-10-02 来自:开发者社区

Flink CDC任务取消后会一直提示取消中?

"Flink CDC遇到过使用flink-cdc进行tidb到myql同步的时候,任务取消后会一直提示取消中?"

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注