Flume定制实战——日志平台架构解析
flume是我2015年为前公司主导开发【统一日志平台】时采用的技术(主要技术栈：flume+ES+Redis+mongoBD+Kafka+Hadoop+Netty )，期间也积累了不少经验（挖坑、踩坑、填坑）。 在我离开前，我们的日志平台数据量为8亿/天，高峰为8500万/小时、800万/5分钟。 flume agent单机压测15000/s数据量，未出现程序异常、资源占用过高与日志明显丢...
开源日志收集软件fluentd 转发(forward)架构配置
需求： 通过开源软件fluentd收集各个设备的apache访问日志到fluentd的转发服务器中，然后通过webHDFS接口，写入到hdfs文件系统中。 软件版本说明： hadoop版本：1.1.2 fluentd版本：1.1.21 测试环境说明： node29服务器上安装了apache，以及fluentd，作为fluentd的客户端； node1服务器，为hadoop服务器的nameno...
分布式实时日志分析解决方案ELK部署架构
一、概述 ELK已经成为目前最流行的集中式日志解决方案，它主要是由Beats、Logstash、Elasticsearch、Kibana等组件组成，来共同完成实时日志的收集，存储，展示等一站式的解决方案。本文将会介绍ELK常见的架构以及相关问题解决。 Filebeat：Filebeat是一款轻量级，占用服务资源非常少的数据收集引擎，它是ELK家族的新成员，可以代替Logstash作为在应...
容器时代的分布式日志架构
本文讲的是容器时代的分布式日志架构， 微服务与宏观问题 现代的科技公司强调微服务架构，容器也越来越重要。在需要为多种平台和应用提供服务的世界里，微服务是必不可少的。容器，比如 Docker，相比于它的近亲，虚拟机， 拥有更高的资源利用率，更好的隔离性和更棒的可移植性，这使其成为了微服务的理想选择。 但微服务和容器也会带来问题。可以将它已过时的前代单体架构与现代的微服务框架对比来思考。 单体架...
《Flume日志收集与MapReduce模式》一第1章 概览与架构
$stringUtil.substring( $!{XssContent1.description},200)...
《Web性能实践日志》一1.3 决定浏览器架构
$stringUtil.substring( $!{XssContent1.description},200)...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
金融级分布式架构
SOFAStack™（Scalable Open Financial Architecture Stack）是一套用于快速构建金融级分布式架构的中间件，也是在金融场景里锤炼出来的最佳实践。
+关注