文章 2024-07-03 来自:开发者社区

基于Kafka的nginx日志收集分析与监控平台(2)

基于Kafka的nginx日志收集分析与监控平台(1)+https://developer.aliyun.com/article/1557847 4、为什么选择filebeat? 日志采集器有很多,比如Logstash,虽然Logstash的功能强大,但是它依赖java并且在数据量大的时候进程会消耗过多的系统资源,会严重影响业务系统的性能。 而filebeat就是一个完美...

基于Kafka的nginx日志收集分析与监控平台(2)
文章 2024-07-03 来自:开发者社区

基于Kafka的nginx日志收集分析与监控平台(3)

基于Kafka的nginx日志收集分析与监控平台(2)+https://developer.aliyun.com/article/1557848 过半机制 在领导者选举的过程中,如果某台zkServer获得了超过半数的选票,则以zkServer就可以成为Lerder了。 过半机制的源码实现是通过下面操作: ...

基于Kafka的nginx日志收集分析与监控平台(3)
文章 2024-07-03 来自:开发者社区

基于Kafka的nginx日志收集分析与监控平台(1)

1、项目环境 搭建此次项目的主要用到的技术软件:centos7(三台)、nginx 、kafka、zookeeper 、mysql、celery、filebeat 、python。 2、项目描述 项目主要是关于使用filebeat作为生产者收集前端nginx集群中用户访问nginx web页面时产生的access日志,然后将收集到的日志信息统一存入kafka平台,然后编写...

基于Kafka的nginx日志收集分析与监控平台(1)
文章 2024-07-03 来自:开发者社区

日志收集平台项目nginx、kafka、zookeeper、filebeat搭建的基本配置(2)

日志收集平台项目nginx、kafka、zookeeper、filebeat搭建的基本配置(1)+https://developer.aliyun.com/article/1557824 3、kafka搭建 使用kafka来收集日志的原因:收集nginx的日志,将nginx日志提取关键字段进行分析,将日志分析清洗后的数据再存入mysql数据库。可以方便业务解耦,流量。...

日志收集平台项目nginx、kafka、zookeeper、filebeat搭建的基本配置(2)
文章 2024-07-03 来自:开发者社区

日志收集平台项目nginx、kafka、zookeeper、filebeat搭建的基本配置(1)

1、环境准备 1.1 准备好三台虚拟机搭建nginx和kafka集群。 1.2 配置好静态ip地址(尽量使用NAT模式) 为了统一,我的使用的是桥接模式。 1、先准备三台虚拟机: ...

日志收集平台项目nginx、kafka、zookeeper、filebeat搭建的基本配置(1)
文章 2024-06-19 来自:开发者社区

go语言并发实战——日志收集系统(二) Kafka简介

消息队列的通信模式 点对点模式 消息生产者生产消息发送到消息队列(queue),消费者从queue中取出并且消费信息,而这条信息被消费后queue中就没有了这条信息,不存在重复消费 发布/订阅 基本概念发布者发布消息发送到消息队列(topic),订阅者从topic中取出并且消费信息,而这条信息被消费后topic中还存在这条信息,存在重复消费 ...

go语言并发实战——日志收集系统(二) Kafka简介
文章 2024-06-19 来自:开发者社区

go语言并发实战——日志收集系统(三) 利用sarama包连接KafKa实现消息的生产与消费

环境的搭建 Kafka以及相关组件的下载 我们要实现今天的内容,不可避免的要进行对开发环境的配置,Kafka环境的配置比较繁琐,需要配置JDK,Scala,ZoopKeeper和Kafka,这里我们不做赘述,如果大家不知道如何配置环境,这里我们个大家找了一篇博文供大家参考: sarama包的安装 今天我们所时机的内容需要用到go语言的第三方包sarama...

go语言并发实战——日志收集系统(三) 利用sarama包连接KafKa实现消息的生产与消费
文章 2023-11-08 来自:开发者社区

淘东电商项目(50) -ELK+Kafka分布式日志收集(实现篇)

引言本文代码已提交至Github(版本号:da9e2df57a8650a18003bdbde1f24c3c4e21c8a4),有兴趣的同学可以下载来看看:https://github.com/ylw-github/taodong-shop前面已经把分布式日志收集(ELK+Kafka)的原理以...

淘东电商项目(50) -ELK+Kafka分布式日志收集(实现篇)
文章 2023-11-08 来自:开发者社区

淘东电商项目(49) -ELK+Kafka分布式日志收集(docker下搭建kafka)

引言本文代码已提交至Github,有兴趣的同学可以下载来看看:https://github.com/ylw-github/taodong-shop在上一篇博客《淘东电商项目(48) -ELK+Kafka分布式日志收集(原理篇)》讲解了使用ELK+Kafka在分布式环境下收集日志的原理。之前已经搭建...

淘东电商项目(49) -ELK+Kafka分布式日志收集(docker下搭建kafka)
文章 2023-11-08 来自:开发者社区

淘东电商项目(48) -ELK+Kafka分布式日志收集(原理篇)

引言本文代码已提交至Github,有兴趣的同学可以下载来看看:https://github.com/ylw-github/taodong-shop在前面的博客,主要是讲解了在Docker下搭建ELK,以及实现搜索功能,有兴趣的同学可以看下:《淘东电商项目(38) -Docker下安装E...

淘东电商项目(48) -ELK+Kafka分布式日志收集(原理篇)

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。