如果输入文件中有任何更改,将日志写入hdfs的flume

aiazj4mn  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(332)

我是ApacheFlume的新手,我有一个用例,其中有一个定期更新的输入文件“sample.txt”,它最初包含以下数据

  1. Name Age Sex Address
  2. xxx 20 M Chennai

有时会更新为

  1. Name Age Sex Address
  2. YYY 25 F Salem
  3. ZZZ 18 M Covai

我希望在输入文件发生更改时,使用apacheflume将此文件写入hdfs。有人能给我推荐这个链接吗?或者有人能告诉我如何实现这个目标吗

hmtdttj4

hmtdttj41#

你可以考虑作为一个来源Flume尾巴。我指向一些网址。请参考他们。

  1. http://www.rittmanmead.com/2014/05/trickle-feeding-webserver-log-files-to-hdfs-using-apache-flume/
  2. http://www.ibm.com/developerworks/library/bd-flumews/
  3. http://mapredit.blogspot.in/2012/03/flumeng-evolution.html
  4. https://flume.apache.org/FlumeUserGuide.html
  5. http://stackoverflow.com/questions/13721930/flume-ng-tail-a-file

相关问题