我需要在hadoop中运行wordcount应用程序的帮助。我在多节点集群上工作,我想在我的主(主)节点上运行它。
我做了一个输入文件夹,然后把.txt文件复制到那个文件夹,效果很好。1, 2
现在我需要运行mapreduce,这是使用eclipse完成的。运行方式:
hadoop jar WordCount.jar WordCount /input /output
当我运行它时,我得到:
/input
/output
18/12/30 19:50:13 INFO client.RMProxy: Connecting to ResourceManager at
/0.0.0.0:8032
18/12/30 19:50:13 WARN mapreduce.JobResourceUploader: Hadoop command-line
option parsing not performed. Implement the Tool interface and execute your
application with ToolRunner to remedy this.
18/12/30 19:50:14 INFO input.FileInputFormat: Total input files to process
: 1
18/12/30 19:50:14 INFO mapreduce.JobSubmitter: number of splits:1
18/12/30 19:50:14 INFO Configuration.deprecation:
yarn.resourcemanager.system-metrics-publisher.enabled is deprecated.
Instead, use yarn.system-metrics-publisher.enabled
18/12/30 19:50:14 INFO mapreduce.JobSubmitter: Submitting tokens for job:
job_1546180801267_1648
18/12/30 19:50:15 INFO impl.YarnClientImpl: Submitted application
application_1546180801267_1648
18/12/30 19:50:15 INFO mapreduce.Job: The url to track the job: http://ec2-
3-82-16-179.compute-
1.amazonaws.com:8088/proxy/application_1546180801267_1648/
18/12/30 19:50:15 INFO mapreduce.Job: Running job: job_1546180801267_1648
我听了很多教程,在每一个教程,他们做一些事情,他们得到相同的信息,但在Map和减少运行,在我的情况下,它不运行。
这是我的个人资料3:
以下是yarn-site.xml 4:
mapred-site.xml 5:
hdfs-site.xml 6:
core-site.xml 7,8:
请帮我解决这个问题,我试着解决了两天,但没有任何好结果。
谢谢!
暂无答案!
目前还没有任何答案,快来回答吧!