问答 2024-12-26 来自:开发者社区

Flink集群重启后,所有job都清理了,这种情况怎么处理?

如果机房断电,集群重启,所有job都要再重新手动提交么?

问答 2024-11-25 来自:开发者社区

alink任务本地正常运行,发布到flink集群后报错

本地运行一个alink任务,大概流程监听kafka中的数据,并作为入参结合已经使用线性回归算法训练好的数据集做运行,可以正常运行得到结果。但是,将该任务通过flink web ui发布到集群后,运行就报错了。flink是1.13版本,alink是1.6.0版本,可能是什么问题导致的?

文章 2024-11-18 来自:开发者社区

大数据实时计算产品的对比测评:实时计算Flink版 VS 自建Flink集群

1. 使用背景与测试场景 在业务中,我主要利用大数据实时计算满足以下需求: 实时用户行为分析:快速捕捉用户操作轨迹,生成行为标签并反馈到推荐系统。业务指标监控:生成实时关键指标(KPI)告警,保障系统运行稳定性。大规模数据处理:每天处理数亿级别日志数据,确保...

文章 2024-10-22 来自:开发者社区

实时计算Flink版在稳定性、性能、开发运维、安全能力等等跟其他引擎及自建Flink集群比较。

实时计算Flink版相较于其他引擎及自建Flink集群,在稳定性、性能、开发运维、安全能力等方面具有以下优势:稳定性高性能状态存储引擎:提供GeminiStateBackend,这是自研的高性能状态存储引擎,能够显著提升作业稳定性。状态管理优化:最新版本(VVR 8.0.1)中...

文章 2024-10-12 来自:开发者社区

Flink-12 Flink Java 3分钟上手 Kubernetes云原生下的Flink集群 Rancher Stateful Set yaml详细 扩容缩容部署 Docker容器编排

代码仓库 会同步代码到 GitHub https://github.com/turbo-duck/flink-demo 背景介绍 单机模式 在之前的章节中,已经验证过,但是实际运行的时候,我们是需要提交到服务器去运行的。 集群模式 在之...

Flink-12 Flink Java 3分钟上手 Kubernetes云原生下的Flink集群 Rancher Stateful Set yaml详细 扩容缩容部署 Docker容器编排
问答 2024-08-26 来自:开发者社区

怎么指定将任务发送到flink cdc集群的哪个节点?

怎么指定将任务发送到flink集群的哪个节点?

文章 2024-08-26 来自:开发者社区

美团 Flink 大作业部署问题之Checkpoint Replicate Service 跨 HDFS 集群的副本制作是如何实现的

问题一:为什么使用 distcp 跨机房复制 Checkpoint 不是一个好的选择? 为什么使用 distcp 跨机房复制 Checkpoint 不是一个好的选择? 参考回答: 使用 distcp 跨机房复制 Checkpoint 不是一个好的选择,因为 distcp 会为每个复制任务启动一个重的 mapreduce 作业,而 Checkpoint ...

美团 Flink 大作业部署问题之Checkpoint Replicate Service 跨 HDFS 集群的副本制作是如何实现的
文章 2024-08-26 来自:开发者社区

联通实时计算平台问题之监控Kafka集群的断传和积压情况要如何操作

问题一:如何通过监控来定位和处理Flink作业中的反压问题? 如何通过监控来定位和处理Flink作业中的反压问题? 参考回答: 通过监控算子input channel的使用率来定位每个算子产生的反压。例如,当发现某个算子的input channel使用率持续高位时,说明该算子产生了反压,需要进一步定位到具体算子并排查原因,以保证系统的低延迟运行。 ...

联通实时计算平台问题之监控Kafka集群的断传和积压情况要如何操作
文章 2024-08-22 来自:开发者社区

Flink四种集群模式原理

Flink的集群安装模式 Local——本地单机模式,学习测试使用 Standlone——独立集群模式,flink自带集群,学习测试使用 standloneHA——独立集群的高可用模式,flink自带集群,开发测试使用 On Yarn——计算机资源同意由Hadoop Yarn管理,生产模式使用 1. Local——本地单机模式 ...

Flink四种集群模式原理
问答 2024-08-21 来自:开发者社区

在Flink准备起个 807 的session 集群,好像起不起来,怎么回事?

在Flink准备起个 807 的session 集群,好像起不起来,怎么回事?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

+关注