我一直在试图找到有关如何通过命令行提交hadoop作业的信息。我知道命令-hadoopjar文件主类输入输出还有另一个命令,我正试图找到它的信息,但还不能-hadoop作业-提交作业文件什么是“作业文件”以及如何创建作业文件?命令(a.)和命令(b.)的基本区别是什么?哪个是更好的选择?提前谢谢。
6za6bjd01#
下面是运行wordcount map reduce作业的作业文件示例。类似地,您可以为map reduce作业编写作业文件。
mapred.input.dir=data/file1.txtmapred.output.dir=outputmapred.job.name=wordcountmapred.mapper.class=edu.uci.ics.hyracks.examples.wordcount.WordCount$Mapmapred.combiner.class=edu.uci.ics.hyracks.examples.wordcount.WordCount$Reducemapred.reducer.class=edu.uci.ics.hyracks.examples.wordcount.WordCount$Reducemapred.input.format.class=org.apache.hadoop.mapred.TextInputFormatmapred.output.format.class=org.apache.hadoop.mapred.TextOutputFormatmapred.mapoutput.key.class=org.apache.hadoop.io.Textmapred.mapoutput.value.class=org.apache.hadoop.io.IntWritablemapred.output.key.class=org.apache.hadoop.io.Textmapred.output.value.class=org.apache.hadoop.io.IntWritable
mapred.input.dir=data/file1.txt
mapred.output.dir=output
mapred.job.name=wordcount
mapred.mapper.class=edu.uci.ics.hyracks.examples.wordcount.WordCount$Map
mapred.combiner.class=edu.uci.ics.hyracks.examples.wordcount.WordCount$Reduce
mapred.reducer.class=edu.uci.ics.hyracks.examples.wordcount.WordCount$Reduce
mapred.input.format.class=org.apache.hadoop.mapred.TextInputFormat
mapred.output.format.class=org.apache.hadoop.mapred.TextOutputFormat
mapred.mapoutput.key.class=org.apache.hadoop.io.Text
mapred.mapoutput.value.class=org.apache.hadoop.io.IntWritable
mapred.output.key.class=org.apache.hadoop.io.Text
mapred.output.value.class=org.apache.hadoop.io.IntWritable
对我来说,“hadoopjar”更好,因为在作业文件中完成的配置可以在程序本身中轻松完成。谢谢
1条答案
按热度按时间6za6bjd01#
下面是运行wordcount map reduce作业的作业文件示例。类似地,您可以为map reduce作业编写作业文件。
对我来说,“hadoopjar”更好,因为在作业文件中完成的配置可以在程序本身中轻松完成。谢谢