如何解释mapreduce性能计数器

cclgggtu  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(342)

更具体地说:
在任务计数器中,花费的cpu来自proc/stat的utime+stime,因此这意味着iowait之类的东西不会被计算在内。是这样吗?
整个任务的运行时间比cpu时间花费计数器长很多,这是否意味着节点非常忙,容器没有获得cpu或等待io的时间非常长?
我如何判断一个任务是cpu绑定的还是io计数仅仅来自计数器?

ohtdti5x

ohtdti5x1#

“cpu\毫秒”计数器可以提供有关-所有任务在cpu上花费的总时间的信息。
“reduce\u shuffle\u bytes”数字越高,n/w利用率越高(更多选项可用(如此)

hadoop中有4类计数器:文件系统、作业、框架和自定义。
您可以使用内置计数器验证:

1.The correct number of bytes was read and written
2.The correct number of tasks was launched and successfully ran
3.The amount of CPU and memory consumed is appropriate for your job and cluster nodes
4.The correct number of records was read and written

提供更多信息@https://www.mapr.com/blog/managing-monitoring-and-testing-mapreduce-jobs-how-work-counters#.vzy9if_vpz4 (**credits-mapr.com)

相关问题