hadoop hdfs rsync干运行等效程序

whitzsjs  于 2021-06-01  发布在  Hadoop
关注(0)|答案(0)|浏览(322)

我正在寻找一种方法来比较两个hdfs集群的路径。我们有两个hadoop集群(一个用于生产,一个用于灾难恢复),我正在调查某些路径上丢失的/不同的文件。像这样的

  1. rsync -rvn --size-only --delete path1/ path2/

太棒了。distcp工具可以用来将文件从一个集群推送到另一个集群,但是有没有hadoop工具来进行比较呢?我知道我可以通过脚本来实现,递归地检查文件列表(名称+大小),但是我想知道是否已经设置了一些内容。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题