文章 2024-07-16 来自:开发者社区

实时计算 Flink版产品使用问题之如何在一个任务中使用多个source

问题一:Flink的 Sink 算子初始化时间过长 导致 ck 超时 这个有什么配置可以优化吗? Flink的 Sink 算子初始化时间过长 导致 ck 超时 这个有什么配置可以优化吗? 参考答案: Flink的Sink算子初始化时间过长可能导致Checkpoint超时。为了优化这个问题,你可以尝试以下配置: 增加Checkpoin...

实时计算 Flink版产品使用问题之如何在一个任务中使用多个source
文章 2024-07-16 来自:开发者社区

实时计算 Flink版产品使用问题之从上一个checkpoint点位重新启动任务,该如何操作

问题一:想请教下 部署flink集群的话 Standalone模式 Yarn模式 模式用哪个模式好一点? 想请教下 部署flink集群的话 Standalone模式 Yarn模式 Kubernetes模式用哪个模式好一点?另外需要安装zookeeper来实现高可用么? 参考答案: Standalone模式也很稳定呀,已经跑了大半年了;建议下载解压,直接...

实时计算 Flink版产品使用问题之从上一个checkpoint点位重新启动任务,该如何操作
文章 2024-07-16 来自:开发者社区

实时计算 Flink版产品使用问题之集群重启后,所有的Jobs任务丢失,如何快速恢复

问题一:mysql Flink CDC获取增量数据的时候,速度追不上最新的binlog,有什么解决办法嘛? mysql Flink CDC获取增量数据的时候,速度追不上最新的binlog,这个有什么解决办法嘛? 参考答案: 您好,MySQL Flink CDC获取增量数据时,如果速度追不上最新的binlog,可以尝试以下方法: 全量...

文章 2024-07-16 来自:开发者社区

实时计算 Flink版产品使用问题之使用Spring Boot启动Flink处理任务时,使用Spring Boot的@Scheduled注解进行定时任务调度,出现内存占用过高,该怎么办

问题一:有Flink 的SqlServer 2000版本的驱动包吗? 有Flink 的SqlServer 2000版本的驱动包吗? 参考答案: Flink提供了JDBC驱动库,这是一个Java库,用于将SQL语句连接到作为JDBC服务器的SQL网关。另外,你可能需要尝试编译Flink源码以获取需要的connector。请注意,这些步骤可能需要一些技术经...

实时计算 Flink版产品使用问题之使用Spring Boot启动Flink处理任务时,使用Spring Boot的@Scheduled注解进行定时任务调度,出现内存占用过高,该怎么办
问答 2024-07-15 来自:开发者社区

在Flink CDC中同步Mysql数据,数据能全部同步到目标,只是过一段时间后 任务会报错为什么?

在Flink CDC中同步Mysql数据,数据能全部同步到目标,只是过一段时间后 任务会报错,请问是什么原因?请参考图片:

问答 2024-07-15 来自:开发者社区

在Flink CDC中 抽取数据 凌晨失败了 白天重启任务 它还从之前零点失败时候的点位开始消费?

在Flink CDC中 抽取数据 凌晨失败了 白天重启任务 它还从之前零点失败时候的点位开始消费?

问答 2024-07-15 来自:开发者社区

使用flink on yarn模式提交任务,这个是少了什么配置吗?

使用flink on yarn模式提交任务,想让其flink web固定到一台服务器启动,通过如上配置,端口生效,但是地址仍是随机到集群节点,这个是少了什么配置吗?flink1.16.2版本,我测试了1.12.7版本,这样配置是没问题的

问答 2024-07-15 来自:开发者社区

Flink任务的jar包打的是最小包,如何指定这个本地磁盘lib目录,能有效加载这些依赖包呢?

Flink任务的jar包打的是最小包,maven依赖的其他包在本地磁盘lib目录,flink启动脚本,在yarn上运行,如何指定这个本地磁盘lib目录,能有效加载这些依赖包呢?

问答 2024-07-11 来自:开发者社区

Flink在HA模式,重启ZK集群,客户端任务提交异常(疑似脑裂)

基本信息 Flink 1.11.6版本,Standalone HA模式, 滚动重启了ZK集群在Flink集群的一个节点上使用flink run 命令提交多个任务 异常现象 部分任务提交失败,异常信息如下 [Flink-DispatcherRestEndpoint-thread-2] - [WARN ] - [org.apache.flink.runtime.rpc.akka.AkkaInvoc.....

问答 2024-07-11 来自:开发者社区

Flink如果停止了再启动 任务会从停止时候的位点继续消费么 ?

如果通过cdc把数据同步到datahub上面 datahub再转发到flink(主要是为了数据重放) 接受datahub数据的flink任务 Flink如果停止了再启动 任务会从停止时候的位点继续消费么 ?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注