hadoop问题,尝试在hadoop上运行基本wordcount mapreduce

xsuvu9jc  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(316)

我在windows10笔记本上运行hadoop,但是我找到了一些关于如何安装、运行和运行基本字数计算程序的指南。hadoop的安装似乎很好,因为我可以看到 Jmeter 板时,我去http://localhost:8088/cluster/apps/new,我认为这意味着“集群”已经启动并运行。
作为参考,我这样做只是为了学习它现在这就是为什么我用我的笔记本电脑和Windows10。下面是我的指南:
https://github.com/muhammadbilalyar/hadoop-on-window/wiki/how-to-run-hadoop-wordcount-mapreduce-example-on-windows-10
这在一段时间内效果很好,直到我必须提交一个作业,它会转到resourcemanager,我可以在 Jmeter 板上看到它,但是失败了,出现了一个非常不具体的错误:

Application application_1525309913796_0001 failed 2 times due to AM Container for appattempt_1525309913796_0001_000002 exited with exitCode: 1
Failing this attempt.Diagnostics: Exception from container-launch.
Container id: container_1525309913796_0001_02_000001
Exit code: 1
Stack trace: ExitCodeException exitCode=1:
at org.apache.hadoop.util.Shell.runCommand(Shell.java:972)
at org.apache.hadoop.util.Shell.run(Shell.java:869)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:1170)
at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:236)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:305)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:84)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
Shell output: 1 file(s) moved.
Container exited with a non-zero exit code 1
For more detailed output, check the application tracking page: http://BertieCoding:8088/cluster/app/application_1525309913796_0001 Then click on links to logs of each attempt.
. Failing the application.

在运行作业之前,我按照说明运行了以下命令:

hadoop fs -mkdir /input_dir
hadoop fs -put C:/input_file.txt /input_dir
hadoop fs -ls /input_dir/
hadoop jar C:/MapReduceClient.jar wordcount /input_dir /output_dir

不幸的是,当我查看hadoop安装的日志目录时,它有文件夹/文件,但文件中没有任何看起来不正确的内容。
以前有没有人见过这个,知道怎么修?
哦,如果不是很明显的话,我会使用hdfs作为底层框架。我也可以张贴程序的源代码,但它似乎失败之前,它甚至可以运行它。

yjghlzjz

yjghlzjz1#

在hadoop-env.cmd文件中,设置java\u主路径的地方,不要在路径周围使用引号。
例如,我将其设置为:

set JAVA_HOME="C:\java"

但要做到这一点:

set JAVA_HOME=C:\java

非常简单的修复,导致了很多问题。

相关问题