使用apacheflume进行排序

3df52oht  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(418)

我们摄取的数据能用flume分类吗?
我设计了一个简单的多通道flume代理,它将数据摄取到hdfs中的两个目录中。但我不知道的是,flume是否支持在这两个通道之间进行排序。
到目前为止,我的假设是,我的源代码将是一个spool目录,每当我输入行(每行包含一个唯一的关键字)时,该行必须转到某个通道。
有什么想法吗?

vsaztqbk

vsaztqbk1#

分类:不。但我不认为你是这个意思。
考虑使用拦截器和扇出流来实现您想要的。

相关问题