我们知道,hadoop在hdfs中跨多个数据节点复制数据,是否有用于检查不同节点上的分布式数据的命令。
mkshixfv1#
你可以用localhost:50070/ 检查名称节点的运行状况。使用它可以浏览hadoop文件系统。你能做的其他事情也很少localhost:50030 - 工作轨迹localhost:50060 - 任务跟踪器
djp7away2#
您可以使用hadoop中提供的web接口选项。使用它,您将能够看到关于hdfs的所有信息、有多少节点、有多少节点是死的/活的、存储使用情况等等。希望有帮助
huwehgph3#
我想你可能在找这个命令
hdfs fsck /hdfs/path/to/data -files -blocks -locations
你会得到下面的报告。它报告所有块的列表、它们的复制因子以及块所在的主机集。
/hdfs/path/to/data/file.txt 4771082824 bytes, 36 block(s): OK 0. BP-22525430-10.14.103.78-1355873316066:blk_-3400885615428218530_203522 len=134217728 repl=3 [10.14.103.213:50010, 10.14.102.190:50010, 10.14.102.176:50010] 1. BP-22525430-10.14.103.78-1355873316066:blk_124203196739652236_203523 len=134217728 repl=3 [10.14.103.213:50010, 10.14.102.190:50010, 10.14.102.176:50010] 2. BP-22525430-10.14.103.78-1355873316066:blk_5886188080028552249_203524 len=134217728 repl=3 [10.14.103.213:50010, 10.14.102.190:50010, 10.14.102.176:50010] 3. BP-22525430-10.14.103.78-1355873316066:blk_-3222807870390148132_203525 len=134217728 repl=3 [10.14.103.213:50010, 10.14.102.190:50010, 10.14.102.176:50010] 4. BP-22525430-10.14.103.78-1355873316066:blk_-1285830390698132620_203526 len=134217728 repl=3 [10.14.103.213:50010, 10.14.102.190:50010, 10.14.102.176:50010] 5. BP-22525430-10.14.103.78-1355873316066:blk_-2680874809037637827_203527 len=134217728 repl=3 [10.14.103.213:50010, 10.14.102.190:50010, 10.14.102.176:50010] 6. BP-22525430-10.14.103.78-1355873316066:blk_8699277646297360652_203528 len=134217728 repl=3 [10.14.103.213:50010, 10.14.102.190:50010, 10.14.102.176:50010] 7. BP-22525430-10.14.103.78-1355873316066:blk_-2195916588803548138_203529 len=134217728 repl=3 [10.14.103.213:50010, 10.14.102.190:50010, 10.14.102.176:50010] [more]
3条答案
按热度按时间mkshixfv1#
你可以用localhost:50070/ 检查名称节点的运行状况。使用它可以浏览hadoop文件系统。
你能做的其他事情也很少localhost:50030 - 工作轨迹localhost:50060 - 任务跟踪器
djp7away2#
您可以使用hadoop中提供的web接口选项。使用它,您将能够看到关于hdfs的所有信息、有多少节点、有多少节点是死的/活的、存储使用情况等等。希望有帮助
huwehgph3#
我想你可能在找这个命令
你会得到下面的报告。它报告所有块的列表、它们的复制因子以及块所在的主机集。