我需要在reducer中找到mapper发出的最常见的键。我的减速机可以这样工作:
public static class MyReducer extends Reducer<NullWritable, Text, NullWritable, Text> {
private Text result = new Text();
private TreeMap<Double, Text> k_closest_points= new TreeMap<Double, Text>();
public void reduce(NullWritable key, Iterable<Text> values, Context context)
throws IOException, InterruptedException {
Configuration conf = context.getConfiguration();
int K = Integer.parseInt(conf.get("K"));
for (Text value : values) {
String v[] = value.toString().split("@"); //format of value from mapper: "Key@1.2345"
double distance = Double.parseDouble(v[1]);
k_closest_points.put(distance, new Text(value)); //finds the K smallest distances
if (k_closest_points.size() > K)
k_closest_points.remove(k_closest_points.lastKey());
}
for (Text t : k_closest_points.values()) //it perfectly emits the K smallest distances and keys
context.write(NullWritable.get(), t);
}
}
它找到距离最小的k个示例并写入输出文件。但是我需要在我的树状图中找到最常用的键。所以我试着如下:
public static class MyReducer extends Reducer<NullWritable, Text, NullWritable, Text> {
private Text result = new Text();
private TreeMap<Double, Text> k_closest_points = new TreeMap<Double, Text>();
public void reduce(NullWritable key, Iterable<Text> values, Context context)
throws IOException, InterruptedException {
Configuration conf = context.getConfiguration();
int K = Integer.parseInt(conf.get("K"));
for (Text value : values) {
String v[] = value.toString().split("@");
double distance = Double.parseDouble(v[1]);
k_closest_points.put(distance, new Text(value));
if (k_closest_points.size() > K)
k_closest_points.remove(k_closest_points.lastKey());
}
TreeMap<String, Integer> class_counts = new TreeMap<String, Integer>();
for (Text value : k_closest_points.values()) {
String[] tmp = value.toString().split("@");
if (class_counts.containsKey(tmp[0]))
class_counts.put(tmp[0], class_counts.get(tmp[0] + 1));
else
class_counts.put(tmp[0], 1);
}
context.write(NullWritable.get(), new Text(class_counts.lastKey()));
}
}
然后我得到这个错误:
Error: java.lang.ArrayIndexOutOfBoundsException: 1
at KNN$MyReducer.reduce(KNN.java:108)
at KNN$MyReducer.reduce(KNN.java:98)
at org.apache.hadoop.mapreduce.Reducer.run(Reducer.java:171)
你能帮我修一下吗?
1条答案
按热度按时间rks48beu1#
有几件事。。。首先,你的问题是:
你要分道扬镳了
"@"
它可能不在弦中。如果不是,它会把OutOfBoundsException
. 我想增加一个条款,如:第二(除非我疯了,否则这甚至不应该编译),
tmp
是一个String[]
,但实际上你只是在连接'1'
把它放在put
操作(这是一个括号问题):应该是:
在一个可能很大的数据库中查找两次密钥也很昂贵
Map
. 以下是我如何根据你给我们的东西重新编写你的减速机(这是完全未经测试的):接下来,在语义上,您将使用
TreeMap
作为您选择的数据结构。虽然这样做是有意义的,因为它在内部以比较的顺序存储密钥,但使用Map
对于一个几乎毫无疑问需要打破联系的行动。原因如下:哪两个是你保留的最接近的点?
"equally close"
以及"super far"
. 这是因为不能有同一个键的两个示例。因此,您的算法无法打破关系。你可以做一些事情来解决这个问题:首先,如果您打算在
Reducer
你知道你的输入数据不会引起OutOfMemoryError
,请考虑使用不同的排序结构,如TreeSet
建立一个习惯Comparable
它将排序的对象:而不是你的
TreeMap
,使用TreeSet<KNNEntry>
,它将根据Comparator
我们刚才建立的逻辑。然后,在你浏览了所有的键之后,只需遍历第一个键k
,使它们保持有序。不过,这有一个缺点:如果您的数据确实很大,则可以通过将reducer中的所有值加载到内存中,从而使堆空间溢出。第二种选择:使
KNNEntry
我们建立在工具之上WritableComparable
,并从你的Mapper
,然后使用辅助排序来处理条目的排序。这变得有点毛茸茸的,因为你必须使用大量的Map器,然后只有一个缩小捕捉第一k
. 如果您的数据足够小,请尝试第一个选项,以允许平局打破。但是,回到你最初的问题,你得到了一个
OutOfBoundsException
因为您试图访问的索引不存在,即输入中没有“@”String
.