从hdfs接收文件系统事件和通知

trnvg8h3  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(316)

hdfs是否提供了一种轮询文件系统事件(如文件创建/修改/删除)的方法?另外,它是否提供/支持任何回调机制,以便在此类事件发生时获得通知?
我没有看到一个立即和详细的用例,但有一个具体的要求,检查这种能力。我没有看到任何文件提到这一点。如果hdfs的任何一个提交者对此发表评论,那就太好了。

vecaoik1

vecaoik11#

从hadoop2.7开始,现在可以使用 INotify 图书馆。请参见此示例:https://github.com/onefoursix/hdfs-inotify-example/blob/master/src/main/java/com/onefoursix/hdfsinotifyexample.java

n1bvdmb6

n1bvdmb62#

当前没有内置功能 HDFS 这就允许了。
解决方法是对监视的目录执行客户端轮询,或者手动跟踪所有记录事件的事务日志。

相关问题