我想比较本地fs上的数据和hadoop上的数据(diff在hadoop上不起作用),因为我们正在处理的数据是巨大的,我们不想做‘hadoop fs-copytolocal’和比较(因为它会很快填满本地存储)有没有什么方法或工具可以帮助我们比较本地fs和hadoop fs之间的数据?
daupos2t1#
使用-diff localfile<(hadoop fs-cat/hadoopfilepath/file)
1条答案
按热度按时间daupos2t1#
使用-diff localfile<(hadoop fs-cat/hadoopfilepath/file)