在hadoop hdfs中查看数据格式的最佳方法是什么？

blmhpbnm 于 2021-05-29 发布在 Hadoop

关注(0)|答案(1)|浏览(376)

在hadoop集群中加载了将近50gb的csv文件，我想看到一些用于识别列的示例记录。
我试过使用

hadoop fs -cat employees.csv | head -n 10

我的问题是
这是查看数据的正确命令吗？ head -n 10 -它将加载50 gb的数据，它会做过滤前10行？它是如何工作的？
还有更好的方法吗？

1条答案

这取决于你的版本。
对于较旧的hadoop（<3.1.0）版本：

hadoop fs -cat employees.csv | head -n 10

对于更新的（>=3.1.0）hadoop版本

hadoop fs -head employees.csv