在reducer中查找最常见的键,错误:java.lang.arrayindexoutofboundsexception:1

rur96b6h  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(278)

我需要在reducer中找到mapper发出的最常见的键。我的减速机可以这样工作:

public static class MyReducer extends Reducer<NullWritable, Text, NullWritable, Text> {
    private Text result = new Text();
    private TreeMap<Double, Text> k_closest_points= new TreeMap<Double, Text>();
    public void reduce(NullWritable key, Iterable<Text> values, Context context)
            throws IOException, InterruptedException {

        Configuration conf = context.getConfiguration();
        int K = Integer.parseInt(conf.get("K"));
        for (Text value : values) {
            String v[] = value.toString().split("@");    //format of value from mapper: "Key@1.2345"
            double distance = Double.parseDouble(v[1]);
            k_closest_points.put(distance, new Text(value));    //finds the K smallest distances
            if (k_closest_points.size() > K)
                k_closest_points.remove(k_closest_points.lastKey());
        }
        for (Text t : k_closest_points.values())    //it perfectly emits the K smallest distances and keys
            context.write(NullWritable.get(), t);
    }
}

它找到距离最小的k个示例并写入输出文件。但是我需要在我的树状图中找到最常用的键。所以我试着如下:

public static class MyReducer extends Reducer<NullWritable, Text, NullWritable, Text> {
    private Text result = new Text();
    private TreeMap<Double, Text> k_closest_points = new TreeMap<Double, Text>();

    public void reduce(NullWritable key, Iterable<Text> values, Context context)
            throws IOException, InterruptedException {

        Configuration conf = context.getConfiguration();
        int K = Integer.parseInt(conf.get("K"));
        for (Text value : values) {
            String v[] = value.toString().split("@");
            double distance = Double.parseDouble(v[1]);
            k_closest_points.put(distance, new Text(value));
            if (k_closest_points.size() > K)
                k_closest_points.remove(k_closest_points.lastKey());
        }
        TreeMap<String, Integer> class_counts = new TreeMap<String, Integer>();
        for (Text value : k_closest_points.values()) {
            String[] tmp = value.toString().split("@");
            if (class_counts.containsKey(tmp[0]))
                class_counts.put(tmp[0], class_counts.get(tmp[0] + 1));
            else
                class_counts.put(tmp[0], 1);
        }
        context.write(NullWritable.get(), new Text(class_counts.lastKey()));
    }
}

然后我得到这个错误:

Error: java.lang.ArrayIndexOutOfBoundsException: 1
        at KNN$MyReducer.reduce(KNN.java:108)
        at KNN$MyReducer.reduce(KNN.java:98)
        at org.apache.hadoop.mapreduce.Reducer.run(Reducer.java:171)

你能帮我修一下吗?

rks48beu

rks48beu1#

有几件事。。。首先,你的问题是:

double distance = Double.parseDouble(v[1]);

你要分道扬镳了 "@" 它可能不在弦中。如果不是,它会把 OutOfBoundsException . 我想增加一个条款,如:

if(v.length < 2)
    continue;

第二(除非我疯了,否则这甚至不应该编译), tmp 是一个 String[] ,但实际上你只是在连接 '1' 把它放在 put 操作(这是一个括号问题):

class_counts.put(tmp[0], class_counts.get(tmp[0] + 1));

应该是:

class_counts.put(tmp[0], class_counts.get(tmp[0]) + 1);

在一个可能很大的数据库中查找两次密钥也很昂贵 Map . 以下是我如何根据你给我们的东西重新编写你的减速机(这是完全未经测试的):

public static class MyReducer extends Reducer<NullWritable, Text, NullWritable, Text> {
    private Text result = new Text();
    private TreeMap<Double, Text> k_closest_points = new TreeMap<Double, Text>();

    public void reduce(NullWritable key, Iterable<Text> values, Context context)
            throws IOException, InterruptedException {

        Configuration conf = context.getConfiguration();
        int K = Integer.parseInt(conf.get("K"));

        for (Text value : values) {
            String v[] = value.toString().split("@");
            if(v.length < 2)
                continue; // consider adding an enum counter

            double distance = Double.parseDouble(v[1]);
            k_closest_points.put(distance, new Text(v[0])); // you've already split once, why do it again later?

            if (k_closest_points.size() > K)
                k_closest_points.remove(k_closest_points.lastKey());
        }

        // exit early if nothing found
        if(k_closest_points.isEmpty())
            return;

        TreeMap<String, Integer> class_counts = new TreeMap<String, Integer>();
        for (Text value : k_closest_points.values()) {
            String tmp = value.toString();
            Integer current_count = class_counts.get(tmp);

            if (null != current_count) // avoid second lookup
                class_counts.put(tmp, current_count + 1);
            else
                class_counts.put(tmp, 1);
        }

        context.write(NullWritable.get(), new Text(class_counts.lastKey()));
    }
}

接下来,在语义上,您将使用 TreeMap 作为您选择的数据结构。虽然这样做是有意义的,因为它在内部以比较的顺序存储密钥,但使用 Map 对于一个几乎毫无疑问需要打破联系的行动。原因如下:

int k = 2;
TreeMap<Double, Text> map = new TreeMap<>();
map.put(1.0, new Text("close"));
map.put(1.0, new Text("equally close"));
map.put(1500.0, new Text("super far"));
// ... your popping logic...

哪两个是你保留的最接近的点? "equally close" 以及 "super far" . 这是因为不能有同一个键的两个示例。因此,您的算法无法打破关系。你可以做一些事情来解决这个问题:
首先,如果您打算在 Reducer 你知道你的输入数据不会引起 OutOfMemoryError ,请考虑使用不同的排序结构,如 TreeSet 建立一个习惯 Comparable 它将排序的对象:

static class KNNEntry implements Comparable<KNNEntry> {
    final Text text;
    final Double dist;

    KNNEntry(Text text, Double dist) {
        this.text = text;
        this.dist = dist;
    }

    @Override
    public int compareTo(KNNEntry other) {
        int comp = this.dist.compareTo(other.dist);
        if(0 == comp)
            return this.text.compareTo(other.text);
        return comp;
    }
}

而不是你的 TreeMap ,使用 TreeSet<KNNEntry> ,它将根据 Comparator 我们刚才建立的逻辑。然后,在你浏览了所有的键之后,只需遍历第一个键 k ,使它们保持有序。不过,这有一个缺点:如果您的数据确实很大,则可以通过将reducer中的所有值加载到内存中,从而使堆空间溢出。
第二种选择:使 KNNEntry 我们建立在工具之上 WritableComparable ,并从你的 Mapper ,然后使用辅助排序来处理条目的排序。这变得有点毛茸茸的,因为你必须使用大量的Map器,然后只有一个缩小捕捉第一 k . 如果您的数据足够小,请尝试第一个选项,以允许平局打破。
但是,回到你最初的问题,你得到了一个 OutOfBoundsException 因为您试图访问的索引不存在,即输入中没有“@” String .

相关问题