文章 2024-11-25 来自:开发者社区

flink 向doris 数据库写入数据时出现背压如何排查?

确定背压是否存在及程度 通过 Flink Web UI 观察:Flink 提供了 Web UI 来监控任务状态。在 Web UI 中,可以查看各个算子(Operator)的反压状态(Back Pressure Status)。绿色表示没有背压,黄色表示可能有轻微背压,红色表示严重背压。确定哪些算子出现背压,重点关注向 Doris 写入数据相关的算子,如Sink算子。...

文章 2022-08-22 来自:开发者社区

Flink/Hbase - Sink 背压100% 与 hbase.util.RetryCounter.sleepUntilNextRetry 异常分析与排查

一.引言Flink 程序内有读取 hbase 的需求,近期任务启动后偶发 sink 端背压 100% 导致无数据写入下游且无明显 exception 报错,重启任务后有较大概率恢复服务,但也有可能继续背压 100% 从而堵塞任务,遂开始排查。二.问题描述程序执行一段时间后,查看监控发现 Source + Process + Sink 端 back pressure 背压全部达到 100% ,很明....

Flink/Hbase - Sink 背压100% 与 hbase.util.RetryCounter.sleepUntilNextRetry 异常分析与排查

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

+关注