我在hadoop2.6.0上运行了giraph1.1.0。mapredsite.xml如下所示
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value><description>The runtime framework for executing MapReduce jobs. Can be one oflocal, classic or yarn.</description></property><property><name>mapreduce.map.memory.mb</name><value>4096</value><name>mapreduce.reduce.memory.mb</name><value>8192</value></property><property><name>mapreduce.map.java.opts</name><value>-Xmx3072m</value><name>mapreduce.reduce.java.opts</name><value>-Xmx6144m</value></property><property><name>mapred.tasktracker.map.tasks.maximum</name><value>4</value></property><property><name>mapred.map.tasks</name><value>4</value></property></configuration>
giraph-site.xml如下所示
<configuration><property><name>giraph.SplitMasterWorker</name><value>true</value></property><property><name>giraph.logLevel</name><value>error</value></property></configuration>
我不想在本地模式下运行作业。我还将环境变量mapred\u home设置为hadoop\u home。这是运行程序的命令。
hadoop jar myjar.jar hu.elte.inf.mbalassi.msc.giraph.betweenness.BetweennessComputation /user/$USER/inputbc/inputgraph.txt /user/$USER/outputBC 1.0 1
当我运行这个计算图中顶点的介数中心性的代码时，我得到以下异常
Exception in thread "main" java.lang.IllegalArgumentException: checkLocalJobRunnerConfiguration: When using LocalJobRunner, you cannot run in split master / worker mode since there is only 1 task at a time!at org.apache.giraph.job.GiraphJob.checkLocalJobRunnerConfiguration(GiraphJob.java:168)at org.apache.giraph.job.GiraphJob.run(GiraphJob.java:236)at hu.elte.inf.mbalassi.msc.giraph.betweenness.BetweennessComputation.runMain(BetweennessComputation.java:214)at hu.elte.inf.mbalassi.msc.giraph.betweenness.BetweennessComputation.main(BetweennessComputation.java:218)at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)at java.lang.reflect.Method.invoke(Method.java:497)at org.apache.hadoop.util.RunJar.run(RunJar.java:221)at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
我应该如何确保作业不在本地模式下运行？
3条答案
按热度按时间vjrehmav1#
如果要从节点拆分主节点，可以使用：
-ca giraph.splitmasterworker=真
还要指定可以使用的工人数量：
-w型#
其中“#”是您要使用的工人数量。
bfrts1fy2#
我几天前刚遇到这个问题，幸好我这样做就解决了。
修改配置文件mapred site.xml，确保属性“mapreduce.framework.name”的值为“yarn”，并添加属性“mapreduce.jobtracker.address”，如果没有，则该属性的值为“yarn”。
mapred-site.xml如下所示：
修改mapred-site.xml后重新启动hadoop。然后运行程序并将“-w”后面的值设置为大于1，将“giraph.splitmasterworker”的值设置为“true”。它可能会工作。
至于问题的原因，我只是引用了一些人的话：这些属性是为单节点执行而设计的，当在一个节点集群中执行任务时必须进行更改。在这种情况下，jobtracker必须指向将要执行nodemanager守护程序（hadoop从属）的计算机之一。至于框架，应该改成“Yarn”。
jhdbpxl93#
我们可以在堆栈跟踪中看到
LocalJobRunner失败这有点误导，因为它使我们假设我们在本地模型中运行。您已经找到了负责任的配置选项：giraph.SplitMasterWorker但在你的情况下，你把它设置为true. 但是，在命令行上使用最后一个参数1指定仅使用单个辅助进程。因此，框架决定您必须在本地模式下运行。作为解决方案，您有两种选择：套
giraph.SplitMasterWorker至false尽管您正在群集上运行。通过将最后一个参数更改为命令行调用来增加辅助进程的数量。
hadoop jar myjar.jar hu.elte.inf.mbalassi.msc.giraph.betweenness.betweenness计算/user/$user/inputbc/inputgraph.txt/user/$user/outputbc 1.0 4
有关本地模式问题的详细信息，请参阅我在so（apachegiraph主/工作模式）的另一个答案。