我想了解如何使用mapreduce模型聚合多个字段。
例如,如果我得到这样一个数据文件:
id, site, name, qty, price
00, testA, NameA,1,1
01, testB,NameA,2,3
02, testB,NameB,5,7
并希望在mapreduce上实现此聚合:
select site,name, (qty*price) as total
from PO where name ='NameA'
group by site,name,total
order by site;
我该怎么做呢。
我可以按站点(键)、总计(值)进行聚合,但不确定如何包含name列。
我需要了解如何在mapreduce中处理多个字段。有没有一个我可以看的例子?还是需要使用hbase?
1条答案
按热度按时间ldfqzlk81#
你可以实施
WritableComparable
创造你自己的CompositeKey
有几个字段,例如: