在许多手册中,都有使用hadoop发行版中的hadoop shell脚本向hadoop提交作业的说明。如我所见,这意味着在客户端主机上安装整个hadoop生态系统,并在站点设置中配置主节点等。在客户端没有安装hadoop的情况下,还有其他提交作业的方法吗?
qoefvg9y1#
hadoop不会阻止我们从远程客户端提交作业,而不必在其上安装hadoop。任何共享同一网络的机器都可以用来提交作业。客户机除了提交作业,然后等待作业完成之外,没有其他事情可做。也就是说,有几种方法可以做到这一点。一种方法是直接通过ide运行代码,例如eclipse。但是,您需要将ide指向集群,
conf.set("fs.default.name", "hdfs://NN_HOST:9000"); conf.set("mapred.job.tracker", "JT_HOST:9001");
另一种方法是创建一个包含所有必需二进制文件的胖jar。将jar复制到jt机器并在那里运行。你可以在这里和这里找到更多。
1条答案
按热度按时间qoefvg9y1#
hadoop不会阻止我们从远程客户端提交作业,而不必在其上安装hadoop。任何共享同一网络的机器都可以用来提交作业。客户机除了提交作业,然后等待作业完成之外,没有其他事情可做。
也就是说,有几种方法可以做到这一点。一种方法是直接通过ide运行代码,例如eclipse。但是,您需要将ide指向集群,
另一种方法是创建一个包含所有必需二进制文件的胖jar。将jar复制到jt机器并在那里运行。
你可以在这里和这里找到更多。