我想在Kafka HdfsSinkConnector任务完成时触发impala刷新作业。是否可以在任务完成时获得通知或以其他方式触发/调用我的其他程序？
niknxzdl1#
HDFS有一个inotify特性，它可以将这些日志条目转换为可以使用的事件。https://issues.apache.org/jira/browse/HDFS-6634下面是一个基于Java的示例：https://github.com/onefoursix/hdfs-inotify-example或者，脚本可以执行“hdfs dfs -ls -R /folder”，而不是让Oozie监视许多目录并浪费资源|grep语言|sed“，但这仍然不是基于事件的，因此这取决于您需要的React速度与实现/使用inotify API的容易程度https://community.cloudera.com/t5/Support-Questions/HDFS-Best-way-to-trigger-execution-at-File-arrival/td-p/163423
1条答案
按热度按时间niknxzdl1#
HDFS有一个inotify特性，它可以将这些日志条目转换为可以使用的事件。
https://issues.apache.org/jira/browse/HDFS-6634
下面是一个基于Java的示例：https://github.com/onefoursix/hdfs-inotify-example
或者，脚本可以执行“hdfs dfs -ls -R /folder”，而不是让Oozie监视许多目录并浪费资源|grep语言|sed“，但这仍然不是基于事件的，因此这取决于您需要的React速度与实现/使用inotify API的容易程度
https://community.cloudera.com/t5/Support-Questions/HDFS-Best-way-to-trigger-execution-at-File-arrival/td-p/163423