问答 2021-12-02 来自:开发者社区

请教如何在flink job 自定义kafka source function 及时提交offset

我有这样一个业务场景,在checkpoint disable的情况下,不想用auto.commit 功能在等待interval时间后提交offsets, 想要在flink job sink 完成后及时提交offset, 我阅读了一下flinkKafkaConsumer的源码,没有找到实现方式,麻烦请教大神有什么建议的实现方式吗? 或者还有什么其他的建议? 谢谢!  附件中是我写的测试代码...

文章 2018-07-28 来自:开发者社区

PostgreSQL pg_recvlogical 与 test_decoding 自定义,支持source table filter, 对接kafka,es等

标签 PostgreSQL , pg_receivewal , pg_recvlogical 背景 pg_recvlogical 是PG提供的一个通过流复制协议,实时接收数据库逻辑变更的命令行客户端。 逻辑变更内容的来源是上游数据库的wal sender进程调用logical decode plugin处理的。 通过给decode plugin传递plugin option,可以实现参数的传...

PostgreSQL pg_recvlogical 与 test_decoding 自定义,支持source table filter, 对接kafka,es等
文章 2017-03-30 来自:开发者社区

记录自定义kafka的parcel库,CDH安装kafka服务,无法安装过去的排雷过程

1.版本 CDH5.9.1  安装KAFKA-2.0.2-1.2.0.2.p0.5-el6     https://archive.cloudera.com/kafka/parcels/2.0/       失败 CDH5.9.1  安装KAFKA-2.1.0-1.2.1.0.p...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云消息队列

涵盖 RocketMQ、Kafka、RabbitMQ、MQTT、轻量消息队列(原MNS) 的消息队列产品体系,全系产品 Serverless 化。RocketMQ 一站式学习:https://rocketmq.io/

+关注