【Flume中间件】（5）实时监控多个文件实现断点续传
实时监控多个文件实现断点续传我们之前使用的是exec进行监控一个文件是否有追加数据，这时候会面临问题就是一旦该机器宕机，那么该阶段的数据就会丢失，也不是丢失，就是如果flume停止了，但是此时数据还在进行追加，因为tail -F是读取文件的最后10行，那么之前的数据就会没有读取到，但是更改tail 的参数让flume从头读，这样是不会丢失数据，但是会产生重复数据。所以有一种解决办法就是我们监控的....
【Flume中间件】（4）实时监控一个文件目录下的多个文件
实时监控一个文件目录下的多个文件有时我们不需要监控一个文件的追加数据，而是进行检测一个文件目录下是否有新的文件，这是就可以采用spool源进行替代exec那种方式，其实用exec也可以，将命令换一下，但是可能效率较低，因为是一行一行的读取嘛。采用spool源就可以指定文件目录进行监控，它的作用机制是当我们向该文件夹中传输文件时，flume会将该文件传到sink，然后flume会将传进来的数据加个....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。