我正在执行一个 Algorithm: LIBRA to mitigate the data skew
,并使用名为range partition的分区逻辑。
现在,我对此进行了研究,发现hadoop确实附带了这个范围划分函数,但对于版本1.4.1,这里是链接:
http://accumulo.apache.org/1.4/apidocs/org/apache/accumulo/core/client/mapreduce/lib/partition/RangePartitioner.html
我用来实现这个算法的hadoop版本是2.6。这个版本的hadoop是否提供范围分区器?
谢谢你的帮助
1条答案
按热度按时间xbp102n01#
您提供的链接是针对ApacheAccumulo的,它是构建在hadoop之上的一个键/值数据存储—但它不是hadoop本身的。
https://accumulo.apache.org/
可用于2.6的分区器有
二进制分割器
哈希分区器
基于关键字的分区器
totalorderpartitioner
所以2.6没有rangepartitioner