在许多手册中，都有使用hadoop发行版中的hadoop shell脚本向hadoop提交作业的说明。如我所见，这意味着在客户端主机上安装整个hadoop生态系统，并在站点设置中配置主节点等。在客户端没有安装hadoop的情况下，还有其他提交作业的方法吗？
qoefvg9y1#
hadoop不会阻止我们从远程客户端提交作业，而不必在其上安装hadoop。任何共享同一网络的机器都可以用来提交作业。客户机除了提交作业，然后等待作业完成之外，没有其他事情可做。也就是说，有几种方法可以做到这一点。一种方法是直接通过ide运行代码，例如eclipse。但是，您需要将ide指向集群，
conf.set("fs.default.name", "hdfs://NN_HOST:9000"); conf.set("mapred.job.tracker", "JT_HOST:9001");
另一种方法是创建一个包含所有必需二进制文件的胖jar。将jar复制到jt机器并在那里运行。你可以在这里和这里找到更多。
1条答案
按热度按时间qoefvg9y1#
hadoop不会阻止我们从远程客户端提交作业，而不必在其上安装hadoop。任何共享同一网络的机器都可以用来提交作业。客户机除了提交作业，然后等待作业完成之外，没有其他事情可做。
也就是说，有几种方法可以做到这一点。一种方法是直接通过ide运行代码，例如eclipse。但是，您需要将ide指向集群，
另一种方法是创建一个包含所有必需二进制文件的胖jar。将jar复制到jt机器并在那里运行。
你可以在这里和这里找到更多。