hadoop聚合两个函数

t98cgbkg 于 2021-05-29 发布在 Hadoop

关注(0)|答案(1)|浏览(317)

我有以下文件：

Item1 : frequencyOfItem1
Item2 : frequencyOfItem2
...
ItemN : frequencyOfItemN

几句台词之后。。。

Pair1: Item1, Item2  Value1
Pari2: ItemX, ItemY  Value2

....

PairN: ItemXN, ItemYN ValueN

我想用map reduce方法计算以下新值：

ParirX: ItemX, ItemY ValueX/FrequencyItemNX

我该如何Map和减少该操作的值？

Java hadoop mapreduce

来源：https://stackoverflow.com/questions/41212109/hadoop-aggregating-two-function

1条答案

按热度按时间

bbmckpt71#

这是有可能解决这个问题，做两个工作相结合
mapper：在mapper中，键是itemx，并为所有其他元素赋值
reducer：输出所有的值（以这种方式，我基于itemx连接这些值）
工作2
Map器两个键，一个键是整行，值是valuex，第二个键是整行，值是frequencyitemnx
reducer输出键值之间的除法

赞(0）回复(0）举报 2021-05-29

我来回答

hadoop聚合两个函数

1条答案

相关问题

热门标签

最新问答