我有一台用hadoop运行的vmware和unix机器，在同一台机器上，我有一个在windows7上用java运行的示例代码。
代码来自这里：http://pragmaticintegrator.wordpress.com/2013/08/16/writing-a-hadoop-mapreduce-task-in-java/
我只想运行一个map reduce的例子，我仍然不明白程序是如何连接到hadoop示例的，在我的代码中我需要在哪里定义它？
实际上，我的问题是，我需要如何连接两者？
是否有任何需要用hadoop凭据更新的数据源文件？
或者我做错什么了？
1条答案
按热度按时间mznpcxlj1#
对于您正在使用的教程，您应该在hadoop机器上运行这个。如果你想从另一台机器上运行它，你可以，但是如果是windows，你可能会遇到麻烦，因为库是在linux上构建的。
要远程运行作业，可以执行以下操作开始。您需要在作业配置方面投入一些精力。
在windows机器上安装所需的核心hadoopjar和库。您可以使用web应用程序来实现此目的。
然后构建将配置和调用作业的代码。除了需要设置以下值以便作业找到正确的hdfs和map reducer之外，这将是直接的
conf.set（“mapred.job.tracker”，“192.168.x.x:54311”）；
conf.set（“fs.default.name”，”hdfs://192.168.x.x:54310");
您将需要更多的代码，所以请在这里阅读hadoopapi
编辑：输入文件应该放在hdfs-site.xml中定义的hdfs文件系统中，或者移到hdfs文件系统中。如果尚未格式化hdfs文件系统，则需要先进行格式化。有关更多详细信息，请参阅hdfs用户指南。
最后，如果您需要额外的帮助，您将不得不张贴您试图运行的代码和错误输出以及。
祝你好运，帕特