在eclipse上设置并运行wordcounthadoop1.2.1

laawzig2  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(505)

我安装了hadoop1.2.1单节点。我想在EclipseMars上运行Hadoop1.2.1示例的wordcount,您能指导我这方面的工作,并告诉我如何一步一步地完成这个工作吗?谢谢

kpbpu008

kpbpu0081#

创建一个JavaMaven项目,并在pom.xml文件中包含MapReduceJAR所需的所有JAR(即当前版本的hadoop)
maven构建您的应用程序。
创建一个java类来扩展mapper和reducer类,并在main方法中定义作业配置。
将这个保存为jar并在终端中运行,它将在集群和伪模式中运行。
如果您想使用eclipse运行它,请从eclipse运行它,它将以伪模式在eclipse中运行。
为了参考,请找到下面的链接来配置mapreduce编程中的输入输出路径,maven项目的创建。
https://hadoopi.wordpress.com/2013/05/25/setup-maven-project-for-hadoop-in-5mn/
注意:在路径中设置hadoop路径,希望您在安装时已经配置了相同的路径。
或者,您也可以通过复制所有hadoopjar(即hadoopcore、log4j等)来创建一个项目,而无需maven build,但这不是最佳实践。

相关问题