文章 2024-08-19 来自:开发者社区

实时计算 Flink版产品使用问题之在YARN集群上运行时,如何查看每个并行度的详细处理数据情况

问题一:根据官网的文档,是使用flink+holo 还是flink+paimon更好呀,更节约成本? 我这边的业务场景是需要把用户点击到下单完成的整个业务串起来,形成一个业务宽表,时延5分钟左右,根据官网的文档,是使用flink+holo 还是flink+paimon更好呀,更节约成本? 参考答案: 后者 更节约成本 关于...

实时计算 Flink版产品使用问题之在YARN集群上运行时,如何查看每个并行度的详细处理数据情况
文章 2024-08-19 来自:开发者社区

实时计算 Flink版产品使用问题之-s参数在yarn-session.sh命令中是否有效

问题一:Flink相比DW+MC优势在哪? Flink相比DW+MC优势在哪? 参考答案: 流批一体 关于本问题的更多回答可点击进行查看: https://developer.aliyun.com/ask/654885 问题二:Flink线上存量的作业怎么拉取呢? Flink线上...

实时计算 Flink版产品使用问题之-s参数在yarn-session.sh命令中是否有效
文章 2024-07-16 来自:开发者社区

实时计算 Flink版产品使用问题之在使用Flink on yarn模式进行内存资源调优时,如何进行优化

问题一:flink的applcation model模式和sql client可以一起用吗 flink的applcation model模式和sql client可以一起用吗,如何使用呢,如果不能使用,生产环境pre-job和session模式哪个模式会更好 参考答案: Apache Flink 支持多种部署模式,包括 Application Mode...

实时计算 Flink版产品使用问题之在使用Flink on yarn模式进行内存资源调优时,如何进行优化
文章 2024-07-16 来自:开发者社区

实时计算 Flink版产品使用问题之在Flink on Yarn模式下,如何对job作业进行指标监控

问题一:flink1.14的网络缓存消胀机制,如果只是逻辑减少buffer的大小,这是不是会导致内存浪费? flink1.14的网络缓存消胀机制,如果只是逻辑减少buffer的大小,并物理的大小不变,这是不是会导致内存浪费?它是会改变所有的subtask的buffer大小吗?还是只有某个subtask? 参考答案: Flink 1.14的网络缓存消胀机...

实时计算 Flink版产品使用问题之在Flink on Yarn模式下,如何对job作业进行指标监控
文章 2024-06-15 来自:开发者社区

实时计算 Flink版产品使用问题之yarn session模式中启动的任务链接是http IP,想把IP映射为主机hadoop,该怎么操作

问题一:我使用flink on yarn启动了一个任务模式 怎么看这个会话的资源被当前任务占用了多少? 我使用flink on yarn启动了一个任务 yarn session模式 怎么看这个会话的资源被当前任务占用了多少? 参考答案: 应该看不了 , 关于本问题的更多回答可点击进行查看: https://devel...

文章 2024-05-23 来自:开发者社区

实时计算 Flink版产品使用合集之部署yarn模式,怎么实现峰谷动态并行度扩容缩容

问题一:filnk-operator 不用强制在服务器上在搞一个jdk11 版本吧? filnk-operator 不用强制在服务器上在搞一个jdk11 版本吧。 我现在用k8s 上安装了operator1.6 版本,我的flink 任务也正常跑起来了啊。 有大佬知道吗?, 还是说 代码里面调 flink-operator-api的时候需要使用jdk11 参考...

文章 2024-05-23 来自:开发者社区

实时计算 Flink版产品使用合集之使用yarn-session的模式来提交任务,空间的资源是否释放给yarn

问题一:Flink CDC UI上红色部分Busy 100%是正常的吗? Flink CDC UI上红色部分Busy 100%是正常的吗? 参考答案: 不正常,你需要看下什么导致的busy ...

实时计算 Flink版产品使用合集之使用yarn-session的模式来提交任务,空间的资源是否释放给yarn
文章 2024-05-23 来自:开发者社区

实时计算 Flink版产品使用合集之flink-cdc.sh xx.yaml提交到yarn 发现没有启动task manager的,怎么处理

问题一:Flink CDC这个是干啥用的啊? Flink CDC这个是干啥用的啊?org/apache/flink/shaded/guava31/com/google/common/util/concurrent/ThreadFactoryBuilder 参考答案: java工具包 关于本问题的更多回答可点击进行查看: ...

实时计算 Flink版产品使用合集之flink-cdc.sh xx.yaml提交到yarn 发现没有启动task manager的,怎么处理
文章 2024-05-18 来自:开发者社区

实时计算 Flink版产品使用合集之Flink on YARN 下,任务代码中通过 JobListener 监听任务状态,onJobSubmitted 和 onJobExecuted 同时触发如何解决

问题一:Flink这个问题怎么解决? Flink这个问题怎么解决?Flink on yarn,任务代码里想通过jobListener监听任务状态,onJobSubmitted 和onJobExecuted同时触发,回调没生效。 参考回答: 抱歉哈,云上没有on yarn的环境,您应该是开源自建,请参考群公告进社区群。 关于本问题的更多...

实时计算 Flink版产品使用合集之Flink on YARN 下,任务代码中通过 JobListener 监听任务状态,onJobSubmitted 和 onJobExecuted 同时触发如何解决
文章 2024-05-17 来自:开发者社区

实时计算 Flink版产品使用合集之1.13版本上部署一个flink1.17为什么任务启动一直accepted状态yarn的,有什么排查方向吗资源什么的都是充足的

问题一:yarn上不能部署两个不同版本的flink客户端吗? yarn上不能部署两个不同版本的flink客户端吗? 这个状态一直这样 参考回答: YARN上确实不能同时部署两个不同版本的Fl...

实时计算 Flink版产品使用合集之1.13版本上部署一个flink1.17为什么任务启动一直accepted状态yarn的,有什么排查方向吗资源什么的都是充足的

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注