云消息队列 Kafka 版磁盘的相关内容

阿里云文档 2024-10-15

如何在EMR Kafka 2.4.1版本进行Kafka磁盘故障运维

磁盘故障及其运维通常伴随着磁盘上的数据销毁。在进行磁盘运维时，您应考虑数据是否需要迁移备份。对于Kafka集群，您还需要考虑Topic分区副本数据是否可以从其他Broker节点分区副本同步恢复。本文以EMR Kafka 2.4.1版本为例，介绍Kafka磁盘故障运维的操作。

文章 2021-12-29 来自：开发者社区

《kafka问答100例 -5》什么时候真正执行删除Topic磁盘日志 ?

什么时候真正执行删除Topic磁盘日志 ?Controller监听到zk节点/admin/delete_topics之后,向所有存活的Broker发送删除Topic的请求; Broker收到请求之后将待删除副本标记为–delete后缀; 然后会有专门日志清理现场来进行真正的删除操作; 延迟多久删除是靠file.delete.delay.ms来决定的；默认是60000毫秒 = 一分钟

文章 2021-12-29 来自：开发者社区

《kafka问答100例 -2》创建Topic的时候什么时候在Broker磁盘上创建的日志文件

kafka创建Topic的时候什么时候在Broker磁盘上创建的日志文件?当Controller监听zk节点/brokers/topics变更之后,将新增的Topic 解析好的分区状态流转NonExistentPartition->NewPartition->OnlinePartition 当流转到OnlinePartition的时候会像分区分配到的Broker发送一个leader....

文章 2021-12-29 来自：开发者社区

6.【kafka运维】删除Topic消息+查看Broker磁盘信息

文章目录1.删除指定分区的消息kafka-delete-records.sh2. 查看Broker磁盘信息kafka-log-dirs.shMore日常运维、问题排查怎么能够少了滴滴开源的滴滴开源LogiKM一站式Kafka监控与管控平台1.删除指定分区的消息kafka-delete-records.sh删除指定topic的某个分区的消息删除至offset为1024先配置json文件offs....

问答 2021-12-12 来自：开发者社区

kafka的磁盘容量规划需要考虑到几个因素？

问答 2021-12-12 来自：开发者社区

kafka为什么选用SSD磁盘？

问答 2021-12-07 来自：开发者社区

Kafka中为什么直接使用磁盘进行存储？

问答 2020-02-14 来自：开发者社区

kafka 数据落地磁盘有哪些好处？

文章 2017-05-17 来自：开发者社区

Kafka集群磁盘使用率瞬超85%，幕后元凶竟是它？

Kafka是一种快速、可扩展的，设计内在就是分布式的、分区的和可复制的提交日志服务。作为一种高吞吐量的分布式发布订阅消息系统，Kafka被广泛的应用于海量日志的收集、存储。网上有大量Kafka架构、原理介绍的文章，本文不再重复赘述，重点谈谈Consumer Offset默认保存机制。 Topic作为一类消息的逻辑集合，Kafka集群为其维护了一个分区的日志，其结构如图： ...

文章 2016-01-25 来自：开发者社区

为什么说Kafka使用磁盘比内存快

学习过[跟我学Kafka源码之LogManager分析]的同学一定会问为什么Kafka大量使用了磁盘作为传统意义的缓存。其实Kafka最核心的思想是使用磁盘，而不是使用内存，可能所有人都会认为，内存的速度一定比磁盘快，我也不例外。在看了Kafka的设计思想，查阅了相应资料再加上自己的测试后，发现磁盘的顺序读写速度和内存持平。而且Linux对于磁盘的读写优化也比较多，包括read-ahead和....