分析pig查询

cbeh67ev  于 2021-06-21  发布在  Pig
关注(0)|答案(2)|浏览(340)

我正在尝试分析一个pig查询,但到目前为止还没有任何有用的东西。
我试图衡量cpu,磁盘i/o,ram的使用情况。
有人能给我指点一下吗?
到目前为止都是这样
starfish-与hadoop作业一起工作,但不与pig一起工作-不支持pig查询
hprof-与hadoop作业一起工作,但不与pig查询一起工作。-仅为hadoop作业生成配置文件
hadoop和pig作业都在同一集群中执行。
感谢阅读!!

jgwigjjp

jgwigjjp1#

您可以在pig生成的mr作业上使用hprof或其他分析工具。看到了吗https://cwiki.apache.org/confluence/display/pig/howtoprofile

nhn9ugyo

nhn9ugyo2#

您可以使用jxinsight/opus(这是免费的)获得一些延迟数据,并在执行查询之前标记或标记集群,然后在作业完成后拍摄快照。
http://www.jinspired.com/site/jxinsight-opus-1-0
我们将推出各种大数据平台的jxinsight/opus for x版本,包括cassandra、hadoop、pig等等,。。。。
如果您需要更多的功率和更多的 Jmeter (cpu、io等等),那么您可以随时查看jxinsight/opencore产品。

相关问题