【Kafka】Kafka 的日志保留期与数据清理策略
在 Kafka 中，日志保留期和数据清理策略是控制消息保存和删除的重要参数。通过这些参数，可以有效管理磁盘空间，保证 Kafka 集群的性能和可用性。下面我将详细介绍 Kafka 的日志保留期和数据清理策略，并附上相关的示例代码。 1. 日志保留期（Log Retention） 日志保留期指的是 Kafka 中消...
ELK7.x日志系统搭建 4. 结合kafka集群完成日志系统
ELK7.x日志系统搭建 4. 结合kafka集群完成日志系统总体架构说明环境说明hosthostname运行软件192.168.179.123node-5kafka、zookeeper、es、logstash、filebeat192.168.179.124node-4kafka、zookeeper、es、kibana、filebeat192.168.179.125node-3kafka、zoo....
Flink中kafka总共有16266条数据, 但是消费到6144就停止并报这两条日志了？
Flink中kafka总共有16266条数据, 但是消费到6144就停止并报这两条日志了？
阿里 P7 三面凉凉，kafka Borker 日志持久化没答上来
阿里 P7 三面凉凉，kafka Borker 日志持久化没答上来一、引言前段时间有个朋友，去面了阿里集团的P7岗位，很遗憾的是三面没有过其中有一个 kafkaBorker 日志如何持久化的问题没有答上来今天正好写一篇源码文章给朋友复盘一下虽然现在是互联网寒冬，但乾坤未定，你我皆是黑马！废话不多说，发车！二、日志原理介绍在讲 Kafka 日志源码之前，我们要先对 Kafka 日志有一个大体的认识....
亿万级别Kafka演进之路：可靠性+事务+消息中间件+源码+日志
前言Kafka起初是由LinkedIn公司采用Scala语言开发的-一个多分区、多副本且基于ZooKeeper协调的分布式消息系统，现已被捐献给Apache基金会。目前Kafka已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Storm、 Spark、 Flink等都支持与Kafka集成....
Flink如何消费这些规则数据 和kafka的日志流进行关联匹配呢？
配置规则的数据存放在MySQL，这些规则会有增删改的情况，Flink如何消费这些规则数据 和kafka的日志流进行关联匹配呢？ 例如 配置规则id=1 ,日志流中有id=1的字段就更新为id=AAA
淘东电商项目（50） -ELK+Kafka分布式日志收集（实现篇）
引言本文代码已提交至Github（版本号：da9e2df57a8650a18003bdbde1f24c3c4e21c8a4），有兴趣的同学可以下载来看看：https://github.com/ylw-github/taodong-shop前面已经把分布式日志收集（ELK+Kafka）的原理以及环境搭建成功了，有兴趣的同学可以参阅下：《淘东电商项目（48） -ELK+Kafka分布式日志收集（原理....
淘东电商项目（48） -ELK+Kafka分布式日志收集（原理篇）
引言本文代码已提交至Github，有兴趣的同学可以下载来看看：https://github.com/ylw-github/taodong-shop在前面的博客，主要是讲解了在Docker下搭建ELK，以及实现搜索功能，有兴趣的同学可以看下：《淘东电商项目（38） -Docker下安装ES&Kibana（一次填完所有的坑）》《淘东电商项目（39） -商品搜索服务数据库设计》《淘东电商项目（....
淘东电商项目（49） -ELK+Kafka分布式日志收集（docker下搭建kafka）
引言本文代码已提交至Github，有兴趣的同学可以下载来看看：https://github.com/ylw-github/taodong-shop在上一篇博客《淘东电商项目（48） -ELK+Kafka分布式日志收集（原理篇）》讲解了使用ELK+Kafka在分布式环境下收集日志的原理。之前已经搭建好了ELK了，在本文将讲解基于Dokcer搭建Kafka，当然，搭建Kafka环境之前，需要搭建Zo....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
