我在100gb的文本文件上运行了一个字数计算程序,我在一个多节点集群中使用了3个系统,分别是slave1和slave2。除主节点外,2个从节点分别运行数据节点和任务跟踪器。现在,当我在从属机器上运行jps时,它将减慢以下输出:
hduser@slave2:/usr/local/hadoop/bin$ jps
2970 DataNode
6456 Child
14534 RunJar
6529 Jps
3215 TaskTracker
5787 Child
6463 Child
现在这是什么孩子???你说的runjar是什么意思?
1条答案
按热度按时间n53p2ov01#
jps命令慢的原因是从节点被用来执行mapreduce任务。在mapreduce执行期间,cpu、内存等资源几乎会被mapreduce任务利用,因此命令执行将需要一些时间。
什么是runjar?
当你执行
hadoop jar <Jarname>
来自节点的命令,hadoop runjar实用程序主类org.apache.hadoop.util.RunJar
将被调用。她是个孩子
tasktracker将mapper/reducer任务作为子进程在单独的jvm中执行。子java进程属于map taks或reduce tasks
使用选项
jps -l
获取完整的包名和类名