在hadoop中查看gzip文件内容

iswrvxsc 于 2021-06-02 发布在 Hadoop

关注(0)|答案(4)|浏览(616)

如何在hdfs中解压缩和查看压缩文件的几行。下面的命令显示压缩数据的最后几行

hadoop fs -tail /myfolder/part-r-00024.gz

有没有一种方法可以使用-text命令并将输出通过管道传输到tail命令？我试过了，但没用。

hadoop fs -text /myfolder/part-r-00024.gz > hadoop fs -tail /myfolder/

4条答案

以下内容将显示指定的行数，而不解压缩整个文件：

hadoop fs -cat /hdfs_location/part-00000.gz | zcat | head -n 20

以下内容将对文件进行分页，也无需首先对整个文件进行解压缩：

hadoop fs -cat /hdfs_location/part-00000.gz | zmore

尝试以下方法，只要文件不太大就行（因为整个过程都会被解压缩）：

hadoop fs -text /myfolder/part-r-00024.gz | tail

使用gunzip查看压缩文件内容：

hdfs dfs -cat /path/filename.gz | gunzip

最后我写了一个Pig剧本。

A = LOAD '/myfolder/part-r-00024.gz' USING PigStorage('\t');
B = LIMIT A 10;
DUMP B;