我正在寻找一种方法来比较两个hdfs集群的路径。我们有两个hadoop集群(一个用于生产,一个用于灾难恢复),我正在调查某些路径上丢失的/不同的文件。像这样的
rsync -rvn --size-only --delete path1/ path2/
太棒了。distcp工具可以用来将文件从一个集群推送到另一个集群,但是有没有hadoop工具来进行比较呢?我知道我可以通过脚本来实现,递归地检查文件列表(名称+大小),但是我想知道是否已经设置了一些内容。
目前还没有任何答案,快来回答吧!
暂无答案!
目前还没有任何答案,快来回答吧!