云消息队列 Kafka 版自定义的相关内容

问答 2021-12-07 来自：开发者社区

请教如何在flink job 自定义kafka source function 及时提交offset

我有这样一个业务场景，在checkpoint disable的情况下，不想用auto.commit 功能在等待interval时间后提交offsets, 想要在flink job sink 完成后及时提交offset，我阅读了一下flinkKafkaConsumer的源码，没有找到实现方式，麻烦请教大神有什么建议的实现方式吗？或者还有什么其他的建议？谢谢！附件中是我写的测试代码...

问答 2021-12-02 来自：开发者社区

Flink kafka自定义metrics在influxdb上解析失败怎么办？

大家好，Flink版本1.13.1。我在FlinkKafkaProducer的invork方法中，创建了一个counter，它采用sinkTableName+_receive_count作为最终的metric 表名，并且采用influxDB作为上报终端，其中，sinkTableName是从catalog信息里拿到的，我从构造中一层层传递进去。但是发现一个奇怪的问题：当我采用简单的形如ins.....

问答 2020-06-09 来自：开发者社区

kafka自定义消息?报错

@卢禹你好，想跟你请教个问题：这是我的代码，我想自定义消息并用producer发送到服务器上。然后不知道为什么不能通过。kafka版本是kafka_2.10-0.8.1.1。自定义消息类代码： producer代码：报错信息：

问答 2018-12-12 来自：开发者社区

Apache Spark：Kafka以自定义格式编写

我正在构建一个使用Kafka主题的Spark SQL应用程序，转换一些数据，然后使用特定的JSON对象写回单独的Kafka主题。现在我能够查询/转换我想要的内容并编写它： Dataset reader = myData.getRecordCount();reader.select(to_json(struct("record_count")).alias("value")) .write() ....

问答 2018-12-05 来自：开发者社区

如何使用Spark结构化流媒体为Kafka流实现自定义反序列化？

我正在尝试迁移我当前的流媒体应用程序，这是基于使用RDD（从他们的文档）到他们使用结构化流媒体的新数据集API，我被告知这是使用Spark进行实时流媒体的首选方法。目前，我的应用程序设置使用了一个名为“SATELLITE”的主题，该主题包含一个包含密钥时间戳和包含SatellitePOJO的值的消息。但是我在弄清楚如何为此实现反序列化器时遇到了问题。在我当前的应用程序中很简单，你只需在你的ka....

文章 2018-07-28 来自：开发者社区

PostgreSQL pg_recvlogical 与 test_decoding 自定义，支持source table filter, 对接kafka,es等

标签 PostgreSQL , pg_receivewal , pg_recvlogical 背景 pg_recvlogical 是PG提供的一个通过流复制协议，实时接收数据库逻辑变更的命令行客户端。逻辑变更内容的来源是上游数据库的wal sender进程调用logical decode plugin处理的。通过给decode plugin传递plugin option，可以实现参数的传...

文章 2017-11-21 来自：开发者社区

基于Web的Kafka管理器工具之Kafka-manager的编译部署详细安装 (支持kafka0.8、0.9和0.10以后版本)（图文详解）（默认端口或任意自定义端口）

至于为什么，要写这篇博客以及安装Kafka-manager？问题详情　　无奈于，在kafka里没有一个较好自带的web ui。启动后无法观看，并且不友好。所以，需安装一个第三方的kafka管理工具功能　　为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 K...

共有41条

< 2 3 4 5 >

跳转至： GO

更新时间 2024-10-15 09:14:51

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

云消息队列 Kafka 版更多自定义相关

云消息队列 Kafka 版您可能感兴趣

产品推荐

热门帮助文档

云消息队列

涵盖 RocketMQ、Kafka、RabbitMQ、MQTT、轻量消息队列(原MNS) 的消息队列产品体系，全系产品 Serverless 化。RocketMQ 一站式学习：https://rocketmq.io/

+关注

kafka中自定义完分区后怎么样才可以实现功能？

kafka中什么是自定义分区？

kafka中自定义分区生产者的规则是什么？