我跟随michaelnoll教程建立多节点集群并运行一个示例mapreduce程序。我正在安装hadoop版本2.2.0。hadoop2.2.0中没有contrib目录。我使用find命令从当前目录中搜索jar。搜索结果为我的问题是如何在hadoop多节点集群环境下运行mapreduce程序？
tnkciper1#
我们有一个4节点的hadoop-2.2.0集群。可以使用以下命令从hadoop根文件夹（/usr/local/hadoop）的命令行运行wordcount测试：
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /user/ hduser/in /user/hduser/out
注：
- folder name is different under hadoop: /share/hadoop/mapreduce/
我们创建了hduser/in文件夹（hdfs dfs-mkdir-p/user/hduser/in），复制了一个wordcount测试文件（hdfs dfs-copyfromlocal wc\u test.txt/user/hduser/in），并指定了一个输出文件夹（不应该存在）。
p8h8hvxi2#
在多节点集群上运行mapreduce程序和在单个节点上运行mapreduce程序是一样的。中给出了运行0.23及更高版本（甚至2.2.0）的示例mapreduce程序的步骤link:learnig hadoop. 这里给出了wordcount程序。即使你可以用同一个jar运行pi估计器
2条答案
按热度按时间tnkciper1#
我们有一个4节点的hadoop-2.2.0集群。
可以使用以下命令从hadoop根文件夹（/usr/local/hadoop）的命令行运行wordcount测试：
注：
我们创建了hduser/in文件夹（hdfs dfs-mkdir-p/user/hduser/in），复制了一个wordcount测试文件（hdfs dfs-copyfromlocal wc\u test.txt/user/hduser/in），并指定了一个输出文件夹（不应该存在）。
p8h8hvxi2#
在多节点集群上运行mapreduce程序和在单个节点上运行mapreduce程序是一样的。中给出了运行0.23及更高版本（甚至2.2.0）的示例mapreduce程序的步骤link:learnig hadoop. 这里给出了wordcount程序。即使你可以用同一个jar运行pi估计器