如何在hadoop中实现diff?

jaql4c8m  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(321)

我想比较本地fs上的数据和hadoop上的数据(diff在hadoop上不起作用),因为我们正在处理的数据是巨大的,我们不想做‘hadoop fs-copytolocal’和比较(因为它会很快填满本地存储)
有没有什么方法或工具可以帮助我们比较本地fs和hadoop fs之间的数据?

daupos2t

daupos2t1#

使用-diff localfile<(hadoop fs-cat/hadoopfilepath/file)

相关问题