我想把更新的文件从本地文件系统复制到hadoop每小时,因为我想把cron。有没有hadoop命令可以用来将更新的文件从本地复制到hadoop?
ohtdti5x1#
您可以使用各种数据接收工具,如flume、nifi等。如果你需要这些工具的帮助,请告诉我。
nwo49xxi2#
类似下面的代码?在文件夹中与您的文件一起
files=$(find . -type f -mmin -60) for f in $files do hadoop fs -cp $f /hadoopdest done
可能是创建文件的另一个循环:
files_c=$( find . -type f -cmin -60)
2条答案
按热度按时间ohtdti5x1#
您可以使用各种数据接收工具,如flume、nifi等。
如果你需要这些工具的帮助,请告诉我。
nwo49xxi2#
类似下面的代码?在文件夹中与您的文件一起
可能是创建文件的另一个循环: