我按照官方要求在Yarn上运行h2o:
http://h2o-release.s3.amazonaws.com/h2o/rel-wolpert/11/index.html
这是我的命令:
cd ~/opt/h2o-3.18.0.8-hdp2.6
hadoop jar h2odriver.jar -nodes 1 -mapperXmx 6g -output /user/spark/h2o-3_output
h2o集群运行成功。
但是在我运行了h2o流中的示例流之后,我没有看到任何与gbm算法相关的计算,只有h2o本身。
我想我会看到这样的东西。这是使用rapidminer的决策树流程图的结果,它显示了每个特定的任务。
1条答案
按热度按时间t3irkdon1#
你看到的是水的预期行为。
h2o只是使用Yarn来获取容器,以便h2o工作节点运行。一旦这些容器被打开,h2o就有cpu和内存资源来工作,并且不再与Yarn相互作用。所以Yarn资源经理知道h2o在上升,如你所见,但不知道任何细节。
要查看详细信息,请转到h2o flow web ui(如上面输出中的“open h2o flow”消息所示)。“管理”->“作业”菜单项显示您要查找的内容。