我可以使用mapreduce和一对键和一对值吗?

hwamh0ep  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(376)

我的问题是理论上的,
我正在尝试为大数据处理中的mapreduce示例进行设计。
我的例子需要将一对键Map到一对值。
例如,如果我们有下面的文字:“工程学士有5年的经验”,我试图计算工程和经验的方式,我会有一个单独的每个词的价值。
所以我的重点是(工程,经验),我的价值观是(1,1),根据上面给出的文本示例。
请注意,在我的家庭作业中,两个键值之间存在关系,因此我希望它们都在一组键值中,以确定是在一个文本文件中同时提到两个键,还是只提到一个键,或者没有提到任何键。
请告诉我上述情况是否可以在大数据Map上做缩减。。

zd287kbt

zd287kbt1#

谢谢你的回答,但我想我可以用“工程经验”作为一个字符串的关键。

nkhmeac6

nkhmeac62#

有串键的 "(Engineering,Experience)" 和一个单词串没什么区别。
如果您想拥有更多的自定义类型,那么您将需要对 Writable 也许还有 WritableComparable 接口。
简单地说,对于值,可以将整个元组 Text 然后解析它,或者您可以创建自己的可写子类来存储两个整数。

相关问题