Flume - Kafka日志平台整合
1. Flume介绍 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 agent agent本身是一个Java进程，运行在日志收集节点—所谓日志收集节点就是服务器节点。 agent里面包含3个核心的组件：...
带你领略基于ELK+Kafka的日志分析系统和Elasticsearch运维实践
阿里巴巴高级工程师赵汉青主要从五个方面对Elasticsearch在日志分析场景的应用与运维实践的问题进行详细讲解，分别对Elasticsearch及相关产品介绍、基于ELK+Kafka的日志分析系统、Elasticsearch运维实践、Elasticsearch优化经验以及阿里云Elasticsearch服务几个方面进行了详细的介绍。数十款阿里云产品限时折扣中，赶快点击这里，领券开始云上实践吧....
ELK+Kafka 企业日志收集平台(一)
码字很辛苦，转载请注明来自运维人的《ELK+Kafka 企业日志收集平台(一)》 背景： 最近线上上了ELK，但是只用了一台Redis在中间作为消息队列，以减轻前端es集群的压力，Redis的集群解决方案暂时没有接触过，并且Redis作为消息队列并不是它的强项；所以最近将Redis换成了专业的消息信息发布订阅系统Kafka, Kafka的更多介绍大家可以看这里：传送门 ,关...
KAFKA日志管理
kafka启动后，会产生会多日志，经常会将磁盘撑爆。所以kafka日志清理很有必要 log4j.properties 该文件为kafka日志管理的配置文件，位于$KAFKA_HOME/config/log4j.properties 默认该配置文件中日志存放路径为$KAFKA_HOME/logs，可以修改为其他容量较大的数据盘，比如我自己设置为/data/kafka/logs 注意：如果只是改...
JavaWeb项目架构之Kafka分布式日志队列
架构、分布式、日志队列，标题自己都看着唬人，其实就是一个日志收集的功能，只不过中间加了一个Kafka做消息队列罢了。 kafka介绍 Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一.....
Kafka实战－实时日志统计流程
1.概述 在《Kafka实战－简单示例》一文中给大家介绍来Kafka的简单示例，演示了如何编写Kafka的代码去生产数据和消费数据，今天给大家介绍如何去整合一个完整的项目，本篇博客我打算为大家介绍Flume＋Kafka＋Storm的实时日志统计，由于涉及的内容较多，这里先给大家梳理一个项目的运用这些技术的流程。下面是今天的内容目录： 项目流程 Flume Kafka Storm 下面...
Kafka项目实战－用户日志上报实时统计之应用概述
1.概述 本课程的视频教程地址：《Kafka实战项目之应用概述》 本课程是通过一个用户实时上报日志来展开的，通过介绍 Kafka 的业务和应用场景，并带着大家搭建本 Kafka 项目的实战开发环境。下面我们来看看本课程有哪些课时，如下图所示： 接下来，我们开始第一课时的学习：《Kafka 回顾》。 2.内容 2.1 Kafka 回顾 本课时简述 Kafka 平台部署的注意事项，.....
Kafka项目实战－用户日志上报实时统计之编码实践
1.概述 本课程的视频教程地址：《Kafka实战项目之编码实践》 该课程我以用户实时上报日志案例为基础，带着大家去完成各个KPI的编码工作，实现生产模块、消费模块，数据持久化，以及应用调度等工作， 通过对这一系列流程的演示，让大家能够去掌握Kafka项目的相关编码以及调度流程。下面，我们首先来预览本课程所包含的课时，他们分别有： 接下来，我们开始第一课时的学习：《数据生产实...
使用 Kafka 和 ELK 搭建测试日志系统（1）
本文仅供自己学习，不合适转载。 这是两篇文章的第一部分。 1. 安装 ELK 1.1 安装 ElasticSearch 在海航云上创建一个 Ubutu 16.4 虚机，2核4GB内存。 （1）执行以下命令，更新系统 sudo apt-get update -y sudo apt-get upgrade -y （2）安装 Java sudo add-apt-repositor...
【Kafka源码】日志处理
目前来说，kafka的日志中记录的内容比较多，具体的存储内容见这篇博客，写的比较好。可以看到，存储的内容还是比较多的，当存储文件比较大的时候，我们应该如何处理这些日志？下面我们通过kafka启动过程的源码，分析下kafka的日志处理过程。 一、入口方法 在kafkaServer.scala中的start方法中，有一个这样的调用： /* start log manager */ logManage....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
