我刚开始玩hadoop，我有以下疑问：我们很清楚namenode有关于输入块的“元数据”信息。现在我的问题是：如何查看或查询元数据？如何查看-我的输入文件是如何被阻止和分发的？如何确保我的输入文件在hdfs中被阻止和分发？附言：我已经参考了以下网站：http://bradhedlund.com/2011/09/10/understanding-hadoop-clusters-and-the-network/谢谢！
mrfwxfqh1#
namenode的元数据存储在名为“fsimage”的文件中。你可以浏览以下链接以供参考fsimage hdfs的内容
dy1byipe2#
如何查看或查询元数据？您可以在脱机图像查看器的帮助下完成此操作。它是一个将fsimage文件的内容转储为可读格式的工具，以便对hadoop集群的名称空间进行离线分析和检查。用法：bin/hdfs oiv-i fsimage-o fsimage.txt文件你可以在这里找到更多。如何查看-我的输入文件是如何被阻止和分发的？最简单的方法是将您的web浏览器指向hdfswebui，即namemnode_machine:50070. 然后浏览到有问题的文件并单击以打开它。向下滚动，您可以看到该文件的每个块的位置。或者，您可以使用filesystem api提供的getfileblocklocations（filestatus file，long start，long len）。它返回一个包含主机名、偏移量和给定文件部分大小的数组。如何确保我的输入文件在hdfs中被阻止和分发？你可以用fsck来做。它将向您显示与特定文件相关的所有必要的内容，如总块、最小复制块、未复制块等。
2条答案
按热度按时间mrfwxfqh1#
namenode的元数据存储在名为“fsimage”的文件中。你可以浏览以下链接以供参考
fsimage hdfs的内容
dy1byipe2#
如何查看或查询元数据？
您可以在脱机图像查看器的帮助下完成此操作。它是一个将fsimage文件的内容转储为可读格式的工具，以便对hadoop集群的名称空间进行离线分析和检查。
用法：
bin/hdfs oiv-i fsimage-o fsimage.txt文件
你可以在这里找到更多。
如何查看-我的输入文件是如何被阻止和分发的？
最简单的方法是将您的web浏览器指向hdfswebui，即namemnode_machine:50070. 然后浏览到有问题的文件并单击以打开它。向下滚动，您可以看到该文件的每个块的位置。
或者，您可以使用filesystem api提供的getfileblocklocations（filestatus file，long start，long len）。它返回一个包含主机名、偏移量和给定文件部分大小的数组。
如何确保我的输入文件在hdfs中被阻止和分发？
你可以用fsck来做。它将向您显示与特定文件相关的所有必要的内容，如总块、最小复制块、未复制块等。