是否可以将flume sink配置为我的代理的文件系统。我必须沉到hdfs或hadoop吗？我正在使用flume 1.6.0和kafka 10.1.1我会给你看我的flume配置和flume命令行参数，如果你问，但也许我做的事情，只是不打算做。我正在尝试在kafka方面做一些概念验证，而不安装hadoop或hdfs。我看到了roll\u文件的配置，但也许在这些版本中这样的概念只适用于hdfs？
6qfn3psc1#
如果您想使用flume，您必须从ambari或cloudera manager创建flume代理，无论您使用哪种代理，您都必须使用hdfs来接收来自kafka的数据。源将是Kafka主题频道可以是mem sink hdfs
omvjsjqw2#
文件卷槽上写着在本地文件系统上存储事件但是，我建议不要使用flume，因为它需要安装额外的hadoop库。kafka connect是一个本机kafka库，您可以使用到一个文件（或hdfs）。
2条答案
按热度按时间6qfn3psc1#
如果您想使用flume，您必须从ambari或cloudera manager创建flume代理，无论您使用哪种代理，您都必须使用hdfs来接收来自kafka的数据。源将是Kafka主题频道可以是mem sink hdfs
omvjsjqw2#
文件卷槽上写着
在本地文件系统上存储事件
但是，我建议不要使用flume，因为它需要安装额外的hadoop库。
kafka connect是一个本机kafka库，您可以使用到一个文件（或hdfs）。