文章 2024-10-14 来自:开发者社区

大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset

点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(已更完) HDFS(已更完) MapReduce(已更完) Hive(已更完) Flume(已更完) Sqoop(已更完) Zookeeper(已更完) HBase(已更完) Redis (已更完) Kafka(已更完) ...

大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
文章 2024-10-14 来自:开发者社区

大数据-67 Kafka 高级特性 分区 分配策略 Ranger、RoundRobin、Sticky、自定义分区器

点一下关注吧!!!非常感谢!!持续更新!!!目前已经更新到了:Hadoop(已更完)HDFS(已更完)MapReduce(已更完)Hive(已更完)Flume&...

大数据-67 Kafka 高级特性 分区 分配策略 Ranger、RoundRobin、Sticky、自定义分区器
文章 2024-10-14 来自:开发者社区

大数据-61 Kafka 高级特性 消息消费02-主题与分区 自定义反序列化 拦截器 位移提交 位移管理 重平衡

点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(已更完) HDFS(已更完) MapReduce(已更完) Hive(已更完) Flume(已更完) Sqoop(已更完) Zookeeper(已更完) HBase(已更完) Redis (已更完) Kafka(正在更新…) ...

大数据-61 Kafka 高级特性 消息消费02-主题与分区 自定义反序列化 拦截器 位移提交 位移管理 重平衡
文章 2024-10-14 来自:开发者社区

大数据-59 Kafka 高级特性 消息发送03-自定义拦截器、整体原理剖析

点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(已更完) HDFS(已更完) MapReduce(已更完) Hive(已更完) Flume(已更完) Sqoop(已更完) Zookeeper(已更完) HBase(已更完) Redis (已更完) Kafka(正在更新…) ...

大数据-59 Kafka 高级特性 消息发送03-自定义拦截器、整体原理剖析
文章 2024-10-13 来自:开发者社区

大数据-58 Kafka 高级特性 消息发送02-自定义序列化器、自定义分区器 Java代码实现

点一下关注吧!!!非常感谢!!持续更新!!!目前已经更新到了:Hadoop(已更完)HDFS(已更完)MapReduce(已更完)Hive(已更完)Flume&...

大数据-58 Kafka 高级特性 消息发送02-自定义序列化器、自定义分区器 Java代码实现
问答 2024-06-03 来自:开发者社区

消息队列Kafka版ram自定义策略能不能控制到topic级别

消息队列Kafka版ram自定义策略能不能控制到topic级别

文章 2024-04-07 来自:开发者社区

阿里云Flink-自定义kafka format实践及踩坑记录(以protobuf为例)

1. protobuf简介 Protocol Buffers(简称:ProtoBuf)是一种开源跨平台的序列化数据结构的协议。其对于存储资料或在网络上进行通信的程序是很有用的。这个方法包含一个接口描述语言,描述一些数据结构,并提供程序工具根据这些描述产生代码,这些代码将用来生成或解析代表这些数据结构的字节流。 Google最初开发了Protocol Buffers用于内部使用。P...

阿里云Flink-自定义kafka format实践及踩坑记录(以protobuf为例)
文章 2024-03-16 来自:开发者社区

Kafka【付诸实践 01】生产者发送消息的过程描述及设计+创建生产者并发送消息(同步、异步)+自定义分区器+自定义序列化器+生产者其他属性说明(实例源码粘贴可用)【一篇学会使用Kafka生产者】

1.生产者发送消息的过程及生产者设计 1.1 消息发送过程 生产者发送消息的过程描述: Kafka 会将发送消息包装为 ProducerRecord 对象, ProducerRecord 对象包含了目标主题和要发送的内容,同时还可以指定键和分区。为了使其能够在网络上传输,在发送 ProducerRecord 对象前生产者会把键和值对象序列化成字节数组。 接下来,数据被传给分...

Kafka【付诸实践 01】生产者发送消息的过程描述及设计+创建生产者并发送消息(同步、异步)+自定义分区器+自定义序列化器+生产者其他属性说明(实例源码粘贴可用)【一篇学会使用Kafka生产者】
阿里云文档 2024-03-12

云消息队列 Kafka 版如何使用自定义权限策略

如果系统权限策略不能满足您的要求,您可以创建自定义权限策略实现最小授权。使用自定义权限策略有助于实现权限的精细化管控,是提升资源访问安全的有效手段。本文介绍云消息队列 Kafka 版使用自定义权限策略的场景和策略示例。

文章 2024-01-18 来自:开发者社区

阿里云Flink-自定义kafka sink partitioner实践及相关踩坑记录

1. 背景及需求链路:Flink -> sink kafka需求:客户需求根据数据的特征,以自定义的逻辑,将不同的数据写到kafka不同的分区中阿里云官方文档链接:https://help.aliyun.com/zh/flink/developer-reference/kafka-connector?spm=a2c4g.11186623.0.0.bc541be5ucyowS#section....

阿里云Flink-自定义kafka sink partitioner实践及相关踩坑记录

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云消息队列

涵盖 RocketMQ、Kafka、RabbitMQ、MQTT、轻量消息队列(原MNS) 的消息队列产品体系,全系产品 Serverless 化。RocketMQ 一站式学习:https://rocketmq.io/

+关注