没有hadoop的apacheflume

xkrw2x1b  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(322)

我对flume和hadoop还不熟悉。我有一个疑问:我们是否可以在不配置hadoop的情况下使用flume?
有人能分享他们的知识吗?

5f0d552i

5f0d552i1#

对!至于我最近的flume配置[source=twitter,channel=memory],我使用loggersink将流式传输的“数据”放入文件系统(unix file dir)的日志文件中,您只需要做一些事情使数据有意义。尽管在flume安装中还提供了其他接收器(hdfssink、hbasesink、irc、file roll、check)https://flume.apache.org/flumeuserguide.html 有关详细信息和用法),或者您可以创建一个新的。

bbuxkriu

bbuxkriu2#

是的,flume可以完全独立于hadoop工作。但是,它确实对hdfs有一些包依赖性。如果您不打算使用hdfs sink,那么您可以在没有hadoop的情况下使用它

相关问题