ELK系列~nxlog实现多位置文件的收集
前几天我写了几篇关于ELK日志收集，存储和分析的文章： ELK系列~NLog.Targets.Fluentd到达如何通过tcp发到fluentd ELK系列~Nxlog日志收集加转发(解决log4日志换行导致json转换失败问题) ELK系列~log4-nxlog-Fluentd-elasticsearch写json数据需要注意的几点 今天主要说一个日志收集里的多输入端（收集多个网站的日志）的实....
centos6.5下安装配置ELK及收集nginx日志
Elasticsearch 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash 是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索） kibana 也是一个开源和免费的工具，他Kibana可以为 Logstash 和 ElasticSearch 提供的日志....
ELK之日志查询、收集与分析系统
项目由来 （1）开发人员不能登录线上服务器查看详细日志，经过运维周转费时费力 （2）日志数据分散在多个系统，难以查找与整合 （3）日志数据量巨大，查询速度太慢，无法满足需求 （4）无法全局掌控项目运行状况 （5）日志数据查询不够实时 （6）数据分析人员不会写代码，无法分析统计数据 （7）......... 框架里包含的组件 Logstash+Elasticsea...
ELK实战之通过TCP收集日志
一、TCP收集日志使用场景 tcp模块的使用场景如下： 有一台服务器A只需要收集一个日志，那么我们就可以不需要在这服务器上安装logstash，我们通过在其他logstash上启用tcp模块，监听某个端口，然后我们在这个服务器A把日志通过nc发送到logstash上即可。 二、标准输出测试TCP模块 [root@linux-node2 ~]# cat /etc/logstash/conf.d/t....
ELK实战之收集Nginx的json格式日志
一、安装Nginx [root@linux-node1 ~]# yum install nginx -y [root@linux-node1 ~]# vim /etc/nginx/nginx.conf #修改日志格式为json格式，并创建一个nginxweb的网站目录 log_format access_json '{"@timestamp":"$time_iso8601",' ...
ELK实战之logstash收集日志写入redis
一、部署redis 1、下载redis [root@linux-node2 ~]# wget http://download.redis.io/releases/redis-4.0.6.tar.gz [root@linux-node2 ~]# tar -zxvf redis-4.0.6.tar.gz [root@linux-node2 ~]# mv redis-4.0.6 /usr/loca/s....
ELK实战之使用filebeat代替logstash收集日志
一、Filebeat介绍 Filebeat是轻量级单用途的日志收集工具，用于在没有安装java的服务器上专门收集日志，可以将日志转发到logstash、elasticsearch或redis等场景中进行下一步处理。 官方文档：https://www.elastic.co/guide/en/beats/filebeat/6.0/index.html 二、Filebeat安装和配置 1、filebe....
ELK收集日志到mysql数据库
场景需求 在使用ELK对日志进行收集的时候，如果需要对数据进行存档，可以考虑使用数据库的方式。为了便于查询，可以同时写一份数据到Elasticsearch 中。 环境准备 CentOS7系统： 192.168.20.60 node1 Kibana ES Logstash Nginx 192.168.20.61 node2 ES MariaDB 这里使用收集Nginx日志到数据库和ES中作为示例.....
ELK日志处理之使用logstash收集log4J日志
介绍一下如何从Java工程中导出log4J日志到Logstash。 一、log4j基础 不能免俗的官方介绍: Log4j 是一个使用 Java 语言编写的，可靠、快速、灵活的日志框架（API），使用 Apache Software License 授权。它被移植到 C、C++、C#、Perl、Python、Ruby 和 Eiffel 语言中。 Log4j 是高度可配置的...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
Elasticsearch 技术团队
阿里云Elasticsearch兼容开源ELK功能，提供免运维全托管服务的弹性云搜索与分析引擎，致力于数据库加速、数据分析、信息检索、智能运维监控等场景服务；独有的云原生高性能内核、达摩院NLP分词、向量检索、智能运维、免费X-Pack高级商业特性等能力，全面提升企业应用效率，降低成本。
+关注