为了详细说明我所遇到的问题或不确定如何处理的问题,我目前有一个JavaPairRDD“media”,它包含两个整数值,一个followed id和一个follower id。问题是每个键的值都是另一个id,而不是简单的值1。也就是说,我尝试使用.mapToPair并提取键值以创建新的tuple2〈〉(p._1,1),其中每个键现在都将保存值1,以使计数过程更容易。(),但是我总是收到一个错误,而且我不太确定如何将新的JavaPairRDD返回为〈id,count〉。
JavaPairRDD<Integer, Integer> socials =
media.mapToPair(p -> new Tuple2<>(p._1, 1))
.reduceByKey(p2 -> p._1 + p._2);
1条答案
按热度按时间4ktjp1zp1#
假设您有这些
RDD<Int,Int>
元组:根据我的理解,您需要计算
key
重复了多少次,因此结果应该如下所示:如果这是您想要的,您可以通过以下方式实现:
祝你好运!