文章 2025-01-27 来自:开发者社区

kafka 的数据是放在磁盘上还是内存上,为什么速度会快?

Kafka 的数据存储机制是将数据同时写入磁盘和内存,这种设计使得 Kafka 既能够提供高吞吐量的数据处理能力,又能够保证数据的持久性和可靠性。以下是 Kafka 数据存储的具体机制及其为什么速度快的原因: 数据存储机制 日志文件: Kafka 将消息存储在日志文件(log files)中,这些文件按主题(topic)和分区(parti...

问答 2024-08-06 来自:开发者社区

为什么flink光从kafka接收数据直接print,内存都能涨几个G啊?

为什么flink光从kafka接收数据直接print,内存都能涨几个G啊?

文章 2024-06-16 来自:开发者社区

实时计算 Flink版产品使用问题之 从Kafka读取数据,并与两个仅在任务启动时读取一次的维度表进行内连接(inner join)时,如果没有匹配到的数据会被直接丢弃还是会被存储在内存中

问题一:Flink CDC 里这个配置参数有文档吗?哪里有全部的配置参数可以查到? Flink CDC 里这个配置参数有文档吗?哪里有全部的配置参数可以查到? https://github.com/apache/flink-cdc ...

实时计算 Flink版产品使用问题之 从Kafka读取数据,并与两个仅在任务启动时读取一次的维度表进行内连接(inner join)时,如果没有匹配到的数据会被直接丢弃还是会被存储在内存中
问答 2024-06-13 来自:开发者社区

消息队列Kafka版的CPU和内存使用率曲线在哪查

消息队列Kafka版的CPU和内存使用率曲线在哪查

问答 2024-06-08 来自:开发者社区

消息队列Kafka版的生产者客户端报错内存不足

消息队列Kafka版的生产者客户端报错内存不足

问答 2024-05-30 来自:开发者社区

Kafka有CPU和内存监控吗

Kafka有CPU和内存监控吗

问答 2023-07-19 来自:开发者社区

请问flinkcdc中,upser-kafka会一直存储在kafka里面,攒着内存那kafka不会?

问题1:请问flinkcdc中,upser-kafka会一直存储在kafka里面,攒着内存,那kafka不会吗?我就是在这个群里看到说用upsert-kafka的,要不我都不知道有这个。问题2:删除topic管用吗?

文章 2023-05-29 来自:开发者社区

Apache Kafka - 生产者内存优化注意事项

1. 调优内存池参数增大batchSize和linger ms,适当延长消息在内存池的最大延迟,减少发送次数。适当减小max block ms,及时处理内存池消息,避免堆积。根据消息大小和负载,适当增大内存池大小。但考虑 JVM 内存,避免 OOM。根据 need 选择是否压缩。压缩可以减小消息大小,节省内存。2. 限制客户端生产速率如果生产者负载较大,可以适当限制客户端的消息生产速率,降低生产....

Apache Kafka - 生产者内存优化注意事项
问答 2023-03-13 来自:开发者社区

kafka里面的数据是在内存里面是吧?

kafka里面的数据是在内存里面是吧?

文章 2023-02-16 来自:开发者社区

【Kafka从成神到升仙系列 二】生产者如何将消息放入到内存缓冲区

## 一、引言初学一个技术,怎么了解该技术的源码至关重要。对我而言,最佳的阅读源码的方式,那就是:不求甚解,观其大略你如果进到庐山里头,二话不说,蹲下头来,弯下腰,就对着某棵树某棵小草猛研究而不是说先把庐山的整体脉络研究清楚了,那么你的学习方法肯定效率巨低而且特别痛苦。最重要的还是慢慢地打击你的积极性,说我的学习怎么那么不 happy 啊,怎么那么没劲那,因为你的学习方法错了,大体读明白,先拿来....

【Kafka从成神到升仙系列 二】生产者如何将消息放入到内存缓冲区

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云消息队列

涵盖 RocketMQ、Kafka、RabbitMQ、MQTT、轻量消息队列(原MNS) 的消息队列产品体系,全系产品 Serverless 化。RocketMQ 一站式学习:https://rocketmq.io/

+关注