我正在尝试用hadoop创建一个setwritable。这是我的实现。我刚开始使用mapreduce,我不知道该怎么做。我写了下面的代码,但它不工作。
自定义可写(需要是一个集合):
public class TextPair implements Writable {
private Text first;
public HashSet<String> valueSet = new HashSet<String>();
public TextPair() {
}
@Override
public void write(DataOutput out) throws IOException {
out.writeInt(valueSet.size());
Iterator<String> it = valueSet.iterator();
while (it.hasNext()) {
this.first = new Text(it.next());
first.write(out);
}
}
@Override
public void readFields(DataInput in) throws IOException {
Iterator<String> it = valueSet.iterator();
while (it.hasNext()) {
this.first = new Text(it.next());
first.readFields(in);
}
}
}
Map程序代码:
public class TokenizerMapper extends Mapper<Object, Text, Text, TextPair> {
ArrayList<String> al = new ArrayList<String>();
TextPair tp = new TextPair();
public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
String [] val = value.toString().substring(2,value.toString().length()).split(" ");
for(String v: val) {
tp.valueSet.add(v);
}
String [] vals = value.toString().split(" ");
for(int i=0; i<vals.length-1; i++) {
setKey(vals[0],vals[i+1]);
System.out.println(getKey());
context.write(new Text(getKey()), tp);
}
}
public void setKey(String first,String second) {
al.clear();
al.add(first);
al.add(second);
java.util.Collections.sort(al);
}
public String getKey() {
String tp = al.get(0)+al.get(1);
return tp;
}
}
我基本上是想从Map器中发出一个setwritable as值。请建议我需要做什么改变。谢谢!
1条答案
按热度按时间mwg9r5ms1#
我想说你在读写方面有问题。您需要知道集合有多大,并使用它来读取正确数量的文本对象。
我将您的版本更改为一组文本对象,因为它们可以轻松地读写。
您应该为此添加一些助手类,以便将元素添加到集合中。
我也看不到你在哪里
clear
电影中的场景map
方法。如果不清除它,每次调用map方法时,它都可能会越来越大。请参阅hadoop arraywritable以获取参考。