我对flume和hadoop还不熟悉。我有一个疑问:我们是否可以在不配置hadoop的情况下使用flume?有人能分享他们的知识吗?
5f0d552i1#
对!至于我最近的flume配置[source=twitter,channel=memory],我使用loggersink将流式传输的“数据”放入文件系统(unix file dir)的日志文件中,您只需要做一些事情使数据有意义。尽管在flume安装中还提供了其他接收器(hdfssink、hbasesink、irc、file roll、check)https://flume.apache.org/flumeuserguide.html 有关详细信息和用法),或者您可以创建一个新的。
bbuxkriu2#
是的,flume可以完全独立于hadoop工作。但是,它确实对hdfs有一些包依赖性。如果您不打算使用hdfs sink,那么您可以在没有hadoop的情况下使用它
2条答案
按热度按时间5f0d552i1#
对!至于我最近的flume配置[source=twitter,channel=memory],我使用loggersink将流式传输的“数据”放入文件系统(unix file dir)的日志文件中,您只需要做一些事情使数据有意义。尽管在flume安装中还提供了其他接收器(hdfssink、hbasesink、irc、file roll、check)https://flume.apache.org/flumeuserguide.html 有关详细信息和用法),或者您可以创建一个新的。
bbuxkriu2#
是的,flume可以完全独立于hadoop工作。但是,它确实对hdfs有一些包依赖性。如果您不打算使用hdfs sink,那么您可以在没有hadoop的情况下使用它