自动将文件从本地复制到hadoop

flvlnr44  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(403)

我想把更新的文件从本地文件系统复制到hadoop每小时,因为我想把cron。有没有hadoop命令可以用来将更新的文件从本地复制到hadoop?

ohtdti5x

ohtdti5x1#

您可以使用各种数据接收工具,如flume、nifi等。
如果你需要这些工具的帮助,请告诉我。

nwo49xxi

nwo49xxi2#

类似下面的代码?在文件夹中与您的文件一起

files=$(find . -type f -mmin -60)

for f in $files
do
  hadoop fs -cp $f /hadoopdest
done

可能是创建文件的另一个循环:

files_c=$( find . -type f -cmin -60)

相关问题