syslog及syslog-ng详解

/messages 看下 syslog的介绍到这里基本上已经完成了,下面来瞧瞧syslog的升级版,syslog-ng俗称syslog下一代日志服务器,到底有啥好的呢..... 二.syslog-ng详解 1.syslog-ng简介 syslog-ng (syslog ...
来自: 开发者社区 > 论坛 作者: heyangbear 浏览:275 回复:0

Flume-ng生产环境实践(一)Flume-ng生产环境编译

问题导读 1.Flume-ng生产环境如何搭建? 2.flume-ng分布式日志是用来干什么的? 1.首先在系统上安装jdk1.6+和mvn3.X: $ java -version         ...
来自: 开发者社区 > 论坛 作者: scavalon 浏览:235 回复:5

在Docker中运行Apt-Cacher-ng服务

["/var/cache/apt-cacher-ng"] RUN apt-get update ; apt-get install -yq apt-cacher-ng EXPOSE 3142 CMD chmod 777 /var/cache ...
来自: 开发者社区 > 论坛 作者: total2000 浏览:100 回复:0

33.9. COPY命令相关的函数

null 33.9.COPY命令相关的函数 33.9.1. 用于发送COPY数据的函数33.9.2. 用于接收COPY数据的函数33.9.3. 用于COPY的废弃函数 PostgreSQL中的COPY命令有用于libpq的对网络连接读出或者 ...
来自: 开发者社区 > 博客 作者: 机器的心脏 浏览:12 回复:0

copy_{to, from}_user()的思考与服务器运用

引言我们对copy__user()接口的使用应该是再熟悉不过吧。基本Linux书籍都会介绍它的作用。毕竟它是kernel space和user space沟通的桥梁。所有的数据交互都应该使用类似这种接口。 引言我们对copy__user()接口的使用 ...
来自: 开发者社区 > 博客 作者: 1371140869509703 浏览:59 回复:0

Flume-ng生产环境实践(二)flume-ng 测试过程中event丢失部分body数据

;} 复制代码 不难看出,在event处理过程中,发生了数据截取操作。 Flume-ng生产环境实践(一)Flume-ng生产环境编译 Flume-ng生产环境实践(二)flume-ng 测试过程中event丢失部分body数据 Flume-ng生产环境实践(三)实现文件sink,按照固定格式目录输出 Flume-ng生产环境实践(四)实现log格式化interceptor ...
来自: 开发者社区 > 论坛 作者: uoouoou 浏览:314 回复:4

Flume-ng生产环境实践(三)实现文件sink,按照固定格式目录输出

/data/log/20121229/log-1225-对应的文件中。自己实现了类似flume-og和flume-ng的hdfs-sink的文件sink。 使用的时候配置如下: agent.sources = source agent.channels ...
来自: 开发者社区 > 论坛 作者: h好乖啊 浏览:191 回复:6

Flume-ng将数据插入hdfs与HBase-0.96.0

问题导读: 1.如何配置分布式flume 2.master与node之间该如何配置,有什么异同? 3.启动命令是什么? 4.flume把数据插入hbase,该如何配置? 一、Flume-ng配置插入hdfs 1)简介 Flume是一个分布式、可靠、和高 ...
来自: 开发者社区 > 论坛 作者: 佳佳女巫爱小猪 浏览:230 回复:9

flume-ng 1.4的安装的介绍及介绍如何搜集数据示例

问题导读: 1.flume-ng 与flume的区别是什么? 2.flume-ng如何安装? 3.如何使用flume-ng搜集数据? flume-ng是一个分布式、高可靠和高效的日志收集系统 flume-ng是flume的新版本的意思,其中&ldquo ...
来自: 开发者社区 > 论坛 作者: 烟的小猴子 浏览:246 回复:1

Flume-ng生产环境实践(四)实现log格式化interceptor

file-sink能使用%{dayStr}这样的标签,需要在数据传输过程中,给event的header中添加对应的键值对。在flume-ng中提供了很方便的方式:Interceptor以下为实现的interceptor,首先使用正则表达式匹配nginx日志 ...
来自: 开发者社区 > 论坛 作者: 3q53fzf 浏览:142 回复:2

Cglib 和 Mica Bean copy 生成字节码对比

1. 前言 距离上上篇【mica cglib 增强——【01】cglib bean copy 介绍】 已经过去一个月八一天。 距离上一篇【Java Bean Copy 性能大比拼】 已过去一个月零一天。 1. 前言 距离上上篇 ...
来自: 开发者社区 > 博客 作者: dramlu 浏览:22 回复:0

Flume NG 简介及配置实战

传输不稳定的现象尤为严重,为了解决这些问题,2011 年 10 月 22 号,cloudera 完成了 Flume-728,对 Flume 进行了里程碑式的改动:重构核心组件、核心配置以及代码架构,重构后的版本统称为 Flume NG(next ...
来自: 开发者社区 > 论坛 作者: 拼色冰儿 浏览:195 回复:6

Spark Streaming和Flume-NG对接实验

来处理。它直接支持多种数据源:Kafka, Flume, Twitter, ZeroMQ , TCP sockets等,有一些可以操作的函数:map, reduce, join, window等。   本文将Spark Streaming和Flume-NG ...
来自: 开发者社区 > 论坛 作者: 程丽图 浏览:186 回复:2

Spark和Flume-ng整合

如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoop   从上面的图片可以清楚的了解到各个模块所处的位置。这篇文章主要是讲述开发Spark Streaming这块,因为Flume-ng这块不需要 ...
来自: 开发者社区 > 论坛 作者: 冰若宁 浏览:165 回复:2

Flume1.5.0入门:安装、部署、及flume的案例

# "License"); you may not use this file except in compliance # with the License.  You may obtain a copy of the ...
来自: 开发者社区 > 论坛 作者: 648988 浏览:371 回复:11

Flume(NG)架构设计要点及配置实践

问题导读 1、什么是Flume NG? 2、如何理解Flume的架构核心概念? 3、如何配置Agent? 1.png (24.38 KB, 下载次数: 7) 下载附件  保存到相册 2015-1-25 17:30 上传 外部系统产生日志,直接 ...
来自: 开发者社区 > 论坛 作者: yi101 浏览:260 回复:5

Flume-NG内置计数器(监控)源码级分析

问题导读 1、如何学习Flume-NG? 2、Flume-NG的所有统计信息、监控及相关的类都在哪三个包下? 3、想自己实现一个server向其他系统汇报信息,怎么做?  Flume的内置监控怎么整?这个问题有很多人问。目前了解到的信息是可以使用 ...
来自: 开发者社区 > 论坛 作者: Witchmorning 浏览:278 回复:1

Flume-NG(1.5版本)中SpillableMemoryChannel源码级分析

BasicTransactionSemantics是自己实现的。接下来我们来分析分析这个channel,这个channel可以看成是两个channel。相关内容传送门:Flume-NG源码阅读之FileChannel 和 flume-ng源码阅读memory-channel(原创) 。   一 ...
来自: 开发者社区 > 论坛 作者: hao110yuan 浏览:152 回复:2

Flume-NG中Transaction并发性探究

问题导读 1、如何理解Transaction? 2、所有channel的父类都是什么? 3、file channel为什么不让put和take同时操作?  我们曾经在Flume-NG中的Channel与Transaction关系(原创)这篇文章中说了 ...
来自: 开发者社区 > 论坛 作者: YOUYOU~ 浏览:107 回复:0

Flume-ng failover 以及Load balance测试及注意事项

问题导读: 1.flume failover以及load balance同时应用该如何配置? 2.是不是sinkgroups的sink不能共享? 扩展: 什么是Flume-ng failover 以及Load balance? 1.png (27.38 ...
来自: 开发者社区 > 论坛 作者: jiangnan820625 浏览:577 回复:8
< 1 2 3 4 5 7 >
共有125页 跳转至:GO
对搜索结果不满意?试试论坛 高级搜索>