问答 2022-07-11 来自:开发者社区

请教下,大家的Flinksql任务生产上都是怎么部署的啊? 是通过Flink SQL client

请教下,大家的Flinksql任务生产上都是怎么部署的啊? 是通过Flink SQL client 还是 写FlinkSQL代码打jar包部署到yarn上啊?

文章 2022-02-17 来自:开发者社区

有赞实时任务优化:Flink Checkpoint 异常解析与应用实践

作者:沈磊(有赞大数据) 有赞实时任务主要以 Flink 为主,为了保证实时任务的容错恢复以及停止重启时的状态恢复,几乎所有的实时任务都会开启 Checkpoint 或者触发 Savepoint 进行状态保存。由于 Savepoint 底层原理的实现和 Checkpoint 几乎一致,本文结合 Flink 1.9 版本,重点讲述 Flink Checkpoint 原理流程以及常见原因分析,让用户....

有赞实时任务优化:Flink Checkpoint 异常解析与应用实践
文章 2022-02-17 来自:开发者社区

58 集团大规模 Storm 任务平滑迁移至 Flink 的秘密

Flink-Storm 是 Flink 官方提供的用于 Flink 兼容 Storm 程序 beta 工具,并且在 Release 1.8 之后去掉相关代码。本文主要讲述 58 实时计算平台如何优化 Flink-Storm 以及基于 Flink-Storm 实现真实场景下大规模 Storm 任务平滑迁移 Flink。 背景 58 实时计算平台旨在为集团业务部门提供稳定高效实时计算服务,主要基于 ....

问答 2022-02-15 来自:开发者社区

通过 yarn-cluster 提交多个任务,Flink 页面只显示最后一个提交的任务

大家好,我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 xxx.jar 的方式提交了两个不同的任务程序,在yarn界面里也能看到两个正在运行的 app ,但是点击 对应的 ApplicationMater 跳转到 Flink-Dashboard 页面之后,在 Running job 页面只看到一个运行的....

问答 2022-02-15 来自:开发者社区

怎么编辑或提交任务才能使得flink ui 中将多个任务同时显示在一个页面上呢?

怎么编辑或提交任务才能使得flink ui 中将多个任务同时显示在一个页面上呢?

问答 2022-02-15 来自:开发者社区

Flink1.12单节点提交任务没问题,开发环境集群升级到flink1.12后提交任务报#Flink

Flink1.12单节点提交任务没问题,开发环境集群升级到flink1.12后提交任务报错,各位大佬,能不能看看#Flink

问答 2022-02-15 来自:开发者社区

大佬们,求教一个问题pyflink任务,当数据量过大(测试是10M以上)就会有这个报错:#Flink

大佬们,求教一个问题pyflink任务,当数据量过大(测试是10M以上)就会有这个报错: File "pyarrow/ipc.pxi", line 360, in pyarrow.lib._RecordBatchStreamReader._open File "pyarrow/error.pxi", line 123, in pyarrow.lib.pyarrow_internal_check_....

问答 2022-02-15 来自:开发者社区

flinksql 在一个env里3个sql ,启动时会提交3个yarn任务,这个有什么#Flink

flinksql 在一个env里3个sql ,启动时会提交3个yarn任务,这个有什么配置可以让3个sql 任务在一个job里执行吗?#Flink

问答 2022-02-15 来自:开发者社区

如果mysql表字段名称或者类型发生修改,任务也要跟着重启还是能动态修改?#Flink

如果mysql表字段名称或者类型发生修改,任务也要跟着重启还是能动态修改?#Flink

问答 2022-02-15 来自:开发者社区

flink1.10升级到flink1.11后,老的任务jobmanager包括taskm#Flink

flink1.10升级到flink1.11后,老的任务jobmanager包括taskmanager的log日志打印不出来了,这个有办法弄成兼容吗?#Flink

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注