是否可以将flume sink配置为我的代理的文件系统。我必须沉到hdfs或hadoop吗?我正在使用flume 1.6.0和kafka 10.1.1我会给你看我的flume配置和flume命令行参数,如果你问,但也许我做的事情,只是不打算做。我正在尝试在kafka方面做一些概念验证,而不安装hadoop或hdfs。我看到了roll\u文件的配置,但也许在这些版本中这样的概念只适用于hdfs?
6qfn3psc1#
如果您想使用flume,您必须从ambari或cloudera manager创建flume代理,无论您使用哪种代理,您都必须使用hdfs来接收来自kafka的数据。源将是Kafka主题频道可以是mem sink hdfs
omvjsjqw2#
文件卷槽上写着在本地文件系统上存储事件但是,我建议不要使用flume,因为它需要安装额外的hadoop库。kafka connect是一个本机kafka库,您可以使用到一个文件(或hdfs)。
2条答案
按热度按时间6qfn3psc1#
如果您想使用flume,您必须从ambari或cloudera manager创建flume代理,无论您使用哪种代理,您都必须使用hdfs来接收来自kafka的数据。源将是Kafka主题频道可以是mem sink hdfs
omvjsjqw2#
文件卷槽上写着
在本地文件系统上存储事件
但是,我建议不要使用flume,因为它需要安装额外的hadoop库。
kafka connect是一个本机kafka库,您可以使用到一个文件(或hdfs)。