我已经编写了一个map reduce代码来从map发出csv值,reducer创建weka示例并构建分类器。如何保存分类器,以便我的下一个map reduce作业将获取此模型并在测试数据上运行它来预测值?
Map:
public void map(Object key, Text value, Context context)
throws IOException, InterruptedException {
Get csv values
context.write(csv values);
}
减速器:
public void reduce(Text key, Iterable<Text> values, Context context)
throws IOException, InterruptedException {
Create instances with all the csv values
Classifier classifier = new NaiveBayes();
try {
classifier.buildClassifier(trainingSet);
context.write(classifier,
NullWritable.get());
} catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
如何在下一个map reduce任务中读取这个文件,使它不逐行读取,并且我能够通过读取该文件来构建分类器对象?
或者有没有其他方法可以达到这个目的?
暂无答案!
目前还没有任何答案,快来回答吧!