hadoop mapreduce.partition.keypartitioner.options不工作

yhqotfr8  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(485)

我只想在key的第一个字段与reducer相同的地方对数据进行分区。
例如, [ 11 * * * ] 数据。但看起来 keypartitioner 不起作用,我真的不知道为什么。
环境

hadoop版本

代码run.sh在这里--->


# !/usr/bin/sh

hadoop fs -rm -r /training/likang/tmp2
hadoop fs -rm /training/likang/tmp/testfile
hadoop fs -put testfile1 /training/likang/tmp/testfile

hadoop-streaming -D stream.map.output.field.separator="\t" \
                -D stream.num.map.output.key.fields=2 \
                -D map.output.key.field.separator="\t" \
                -D mapreduce.partition.keypartitioner.options=-k1,1 \
                -D mapreduce.job.maps=2 \
                -D mapreduce.job.reduces=2 \
                -D mapred.job.name="lk_filt_rid" \
                -partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner \
                -input /training/likang/tmp/testfile \
                -output /training/likang/tmp2 \
                -mapper "cat" -reducer "cat"

hadoop fs -cat /training/likang/tmp2/part-00000
echo "------------------"
hadoop fs -cat /training/likang/tmp2/part-00001

输入文件是testfile1--->

11  5   333 111
11  5   777 000
11  3   888 999
11  9   988 888
11  7   234 2342
11  5   4   4
15  9   230 134
12  8   232 834
15  77  220 000
15  33  256 399
11  5   999 888
15  9   222 111
14  88  372 233
15  9   66  77
11  5   821 221
11  0   11  11
15  0   22  22
12  0   33  33
14  0   44  44

结果是,所有的 [ 11 * * * * ] 数据不会发送到同一个减速器。。。有人知道为什么吗?谢谢您。

zpf6vheq

zpf6vheq1#

现在我知道,删除这一行很有用

-D map.output.key.field.separator="\t" \

删除此选项后,结果将是正确的,但更混乱的原因。map.output.key.field.separator的默认值似乎只是一个选项卡,但在我写在这里之后,它会出错。。。。。。。。。

相关问题