我正在尝试分析一个pig查询,但到目前为止还没有任何有用的东西。我试图衡量cpu,磁盘i/o,ram的使用情况。有人能给我指点一下吗?到目前为止都是这样starfish-与hadoop作业一起工作,但不与pig一起工作-不支持pig查询hprof-与hadoop作业一起工作,但不与pig查询一起工作。-仅为hadoop作业生成配置文件hadoop和pig作业都在同一集群中执行。感谢阅读!!
jgwigjjp1#
您可以在pig生成的mr作业上使用hprof或其他分析工具。看到了吗https://cwiki.apache.org/confluence/display/pig/howtoprofile
nhn9ugyo2#
您可以使用jxinsight/opus(这是免费的)获得一些延迟数据,并在执行查询之前标记或标记集群,然后在作业完成后拍摄快照。http://www.jinspired.com/site/jxinsight-opus-1-0我们将推出各种大数据平台的jxinsight/opus for x版本,包括cassandra、hadoop、pig等等,。。。。如果您需要更多的功率和更多的 Jmeter (cpu、io等等),那么您可以随时查看jxinsight/opencore产品。
2条答案
按热度按时间jgwigjjp1#
您可以在pig生成的mr作业上使用hprof或其他分析工具。看到了吗https://cwiki.apache.org/confluence/display/pig/howtoprofile
nhn9ugyo2#
您可以使用jxinsight/opus(这是免费的)获得一些延迟数据,并在执行查询之前标记或标记集群,然后在作业完成后拍摄快照。
http://www.jinspired.com/site/jxinsight-opus-1-0
我们将推出各种大数据平台的jxinsight/opus for x版本,包括cassandra、hadoop、pig等等,。。。。
如果您需要更多的功率和更多的 Jmeter (cpu、io等等),那么您可以随时查看jxinsight/opencore产品。