【云消息队列 Kafka 版运维】_<云消息队列 Kafka 版运维>全部问题与内容精选-阿里云

阿里云文档 2023-09-03

如何限制Kafka服务端运维流量_EMR on ECS_开源大数据平台 E-MapReduce(EMR)

本文为您介绍如何在Kafka集群运维中对Kafka运维流量进行限制，以避免由于运维流量影响到正常的业务流量。本文以EMR Kafka 2.4.1版本为例。

文章 2023-05-18 来自：开发者社区

Kafka运维与监控

Kafka运维与监控一、简介 Kafka是由Apache Software Foundation开发的一款分布式流处理平台和消息队列系统可以处理大规模的实时数据流，具有高吞吐量、低延迟、持久性和可扩展性等优点常用于数据架构、数据管道、日志聚合、事件驱动等场景，对Kafka的运维和监控十分必要本文旨在介绍Kafka的运维和监控相关内容二、运维 1.安装和部署安装 ...

文章 2023-05-07 来自：开发者社区

1 线上问题kafka生产者罢工，停止生产，生产者内存急剧升高，导致程序几次重启。查看日志，发现Pro程序爆异常kafka.common.MessageSizeTooLargeException。查看kafka配置，默认单条消息最大1M，当单条消息长度超过1M，就会出现发送到broker失败，从而导致消息在producer的队列一直累积，直到Pro OOM。赶紧修改kafka配置，解决问题。2 ....

阿里云文档 2023-04-24

Kafka磁盘写满时如何运维操作

本文以EMR Kafka 2.4.1版本为例，介绍Kafka磁盘写满时的运维操作。

文章 2023-03-24 来自：开发者社区

【大数据开发运维解决方案】Kylin消费Kafka数据流式构建cube

文章开始之前先说明环境情况，这里kylin消费的kafka数据是从Oracle 数据库用Ogg For Bigdata以json格式将数据投递到kafka topic的，投递的时候，关于insert和update 之前的数据投递到名为 ZTVOUCHER_INS 的topic，而delete和update之后的数据投递到名为 ZTVOUCHER_DEL 的topic中，这里主要介绍kylin如何....

文章 2022-12-22 来自：开发者社区

【kafka运维】Leader重新选举运维脚本

作者：石臻臻, CSDN博客之星Top5、Kafka Contributor 、nacos Contributor、华为云 MVP ,腾讯云TVP, 滴滴Kafka技术专家、KnowStreaming PMC)。KnowStreaming 是滴滴开源的Kafka运维管控平台, 有兴趣一起参与参与开发的同学,但是怕自己能力不够的同学,可以联系我,带你一起你参与开源！。1kafka-l....

文章 2022-11-09 来自：开发者社区

【kafka 运维】 kafka-consumer-groups.sh 消费者组管理

作者：石臻臻, CSDN博客之星Top5、Kafka Contributor 、nacos Contributor、华为云 MVP ,腾讯云TVP, 滴滴Kafka技术专家、KnowStreaming PMC)。KnowStreaming 是滴滴开源的Kafka运维管控平台, 有兴趣一起参与参与开发的同学,但是怕自己能力不够的同学,可以联系我,带你一起你参与开源！。1消费者组管理 ....

文章 2022-10-25 来自：开发者社区

【kafka运维】Topic的生产和消费运维脚本

作者：石臻臻, CSDN博客之星Top5、Kafka Contributor 、nacos Contributor、华为云 MVP ,腾讯云TVP, 滴滴Kafka技术专家、KnowStreaming PMC)。KnowStreaming 是滴滴开源的Kafka运维管控平台, 有兴趣一起参与参与开发的同学,但是怕自己能力不够的同学,可以联系我,带你一起你参与开源！。1.Topic的....

文章 2022-10-24 来自：开发者社区

【kafka运维】ConfigCommand运维脚本

日常运维、问题排查怎么能够少了滴滴开源的滴滴开源LogiKM一站式Kafka监控与管控平台1ConfigCommandConfig相关操作; 动态配置可以覆盖默认的静态配置;1 查询配置Topic配置查询展示关于Topic的动静态配置1.1.查询单个Topic配置(只列举动态配置)sh bin/kafka-configs.sh --describe --bootstrap-server x.....

文章 2022-10-23 来自：开发者社区

【kafka运维】TopicCommand运维脚本(1)

1TopicCommand1.Topic创建bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 3 --partitions 3 --topic test相关可选参数参数描述例子--bootstrap-server 指定kafka服务指定连接到的kafka服务; 如果有这个参数,.....

如何限制Kafka服务端运维流量_EMR on ECS_开源大数据平台 E-MapReduce(EMR)

Kafka运维与监控

kafka单条消息过大导致线上OOM，运维连夜跑路了！