在hadoop(hdfs)中获取文件的最后5行

guykilcj  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(816)

我的hadoop集群中有几个文件(在hdfs上)。我想看看每个文件的最后5行。有一个简单的命令可以这样做吗?

1sbrub3j

1sbrub3j1#

如果您想在hdfs中查看文件的最后5行(而不是更多或更少),可以使用以下命令,但效率不高: hadoop fs -cat /your/file/with/path | tail -5 在hadoop中有一个更有效的命令,但它返回数据的最后千字节,而不是用户指定的行数: hadoop fs -tail /your/file/with/path 这里有一个关于 hadoop tail 命令:http://hadoop.apache.org/docs/r0.18.3/hdfs_shell.html#tail

相关问题