问答 2023-10-10 来自:开发者社区

Flink CDC对算子 也叫子任务对吧,算子也可以放到实例去执行,也可以放到线程去执行,有知道吗?

Flink CDC对算子 也叫子任务对吧,算子也可以放到实例去执行,也可以放到线程去执行,有知道吗?

文章 2022-02-17 来自:开发者社区

在 Flink 算子中使用多线程如何保证不丢数据?

分析痛点 笔者线上有一个 Flink 任务消费 Kafka 数据,将数据转换后,在 Flink 的 Sink 算子内部调用第三方 api 将数据上报到第三方的数据分析平台。这里使用批量同步 api,即:每 50 条数据请求一次第三方接口,可以通过批量 api 来提高请求效率。由于调用的外网接口,所以每次调用 api 比较耗时。假如批次大小为 50,且请求接口的平均响应时间为 50ms,使用同步 ....

在 Flink 算子中使用多线程如何保证不丢数据?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。