如何处理不同的javapairrdd

8zzbczxx 于 2021-05-29 发布在 Hadoop

关注(0)|答案(1)|浏览(423)

我有两个不同的javapairdd，一个是key1，value，另一个是key2，value。我试图实现的是合并它们，但只得到具有相同值的项。
我尝试了以下方法：

JavaPairRDD<String, String> finalRdd = filteredRdd.intersection(filteredsmallRdd);

其中filtereddd包含key:country ，值和filteredsmallrdd包含：key:id ，值。我需要哪些元素有相同的值，交叉点，我想比较一下，只有键，我得到了一个空解，知道怎么做吗？

1条答案

你可以用 swap 将值更改为每个rdd的键，然后执行交集。

JavaPairRDD<String,String> finalRdd = filteredRdd.mapToPair(f -> f.swap()).intersection(filteredsmallRdd.mapToPair(f -> f.swap()));