hadoop multipleoutputformat.generatefilenameforkeyvalue和多个键

wixjitnu  于 2021-06-03  发布在  Hadoop
关注(0)|答案(0)|浏览(287)

我正在尝试使用multipleoutputformat.generatefilenameforkeyvalue()。
这个想法是为我的每个密钥创建目录。
代码如下:

static class MyMultipleTextOutputFormat extends MultipleTextOutputFormat<Text, Text> {
    @Override
    protected String generateFileNameForKeyValue(Text key, Text value, String name) {
        arr = key.toString().split("_");
        return arr[0]+"/"+name;
    }

}

只有当发出的记录很少时,此代码才起作用。如果我根据实际输入运行代码,它只会挂起70%左右。
这里可能有什么问题-处理少量的键,而不是处理许多键。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题