因为我不允许在prod服务器上设置flume，所以我必须下载日志，将它们放在flume spooldir中，并有一个接收器从通道中使用，然后写入cassandra。一切正常。但是，由于我在spooldir中有很多日志文件，而且当前的安装程序一次只处理一个文件，所以需要一段时间。我希望能够同时处理多个文件。我想到的一种方法是使用spooldir，但将文件分发到5-10个不同的目录中，并定义多个源/通道/接收器，但这有点笨拙。有没有更好的方法来实现这一点？谢谢
pbwdgjma1#
为了记录在案，flume的邮件列表中已经回答了这个问题：hari shreedharan写道：不幸的是，没有。spooldir源是单线程的，因此反序列化程序实现可以保持简单。使用多个spooldir源的方法是正确的，尽管它们都可以写入相同的通道-因此您只需要更多的源，它们都可以共享相同的通道，并且您不需要更多的接收器，除非您希望更快地提取数据。http://mail-archives.apache.org/mod_mbox/flume-user/201409.mbox/browser
1条答案
按热度按时间pbwdgjma1#
为了记录在案，flume的邮件列表中已经回答了这个问题：
hari shreedharan写道：
不幸的是，没有。spooldir源是单线程的，因此反序列化程序实现可以保持简单。使用多个spooldir源的方法是正确的，尽管它们都可以写入相同的通道-因此您只需要更多的源，它们都可以共享相同的通道，并且您不需要更多的接收器，除非您希望更快地提取数据。
http://mail-archives.apache.org/mod_mbox/flume-user/201409.mbox/browser