通过命令行上的hadoop作业客户端提交hadoop作业

yuvru6vn  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(650)

我一直在试图找到有关如何通过命令行提交hadoop作业的信息。
我知道命令-hadoopjar文件主类输入输出
还有另一个命令,我正试图找到它的信息,但还不能-hadoop作业-提交作业文件
什么是“作业文件”以及如何创建作业文件?命令(a.)和命令(b.)的基本区别是什么?哪个是更好的选择?
提前谢谢。

6za6bjd0

6za6bjd01#

下面是运行wordcount map reduce作业的作业文件示例。类似地,您可以为map reduce作业编写作业文件。

  1. mapred.input.dir=data/file1.txt
  2. mapred.output.dir=output
  3. mapred.job.name=wordcount
  4. mapred.mapper.class=edu.uci.ics.hyracks.examples.wordcount.WordCount$Map
  5. mapred.combiner.class=edu.uci.ics.hyracks.examples.wordcount.WordCount$Reduce
  6. mapred.reducer.class=edu.uci.ics.hyracks.examples.wordcount.WordCount$Reduce
  7. mapred.input.format.class=org.apache.hadoop.mapred.TextInputFormat
  8. mapred.output.format.class=org.apache.hadoop.mapred.TextOutputFormat
  9. mapred.mapoutput.key.class=org.apache.hadoop.io.Text
  10. mapred.mapoutput.value.class=org.apache.hadoop.io.IntWritable
  11. mapred.output.key.class=org.apache.hadoop.io.Text
  12. mapred.output.value.class=org.apache.hadoop.io.IntWritable

对我来说,“hadoopjar”更好,因为在作业文件中完成的配置可以在程序本身中轻松完成。谢谢

相关问题