从flume流式传输数据,以从不同的目录收集数据

lvjbypge  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(305)

来自不同网络设备的日志将上载到不同的目录结构/appdat/logs/device//devicename.gzip中。因此,所有设备都会将其日志存储在各自的邮政编码目录中。是否可以使用任何现有的flume源将任何子目录上的新上载文件发送到hdfs,或者是否需要编写新的自定义源。使用的cloudera版本是cdh4

m2xkgtsf

m2xkgtsf1#

philscala提出了一个可以进行递归检查的修改。据我所知还没有被接受。
当前积极开发的版本是apacheflume,而不是cloudera版本。

相关问题