我使用的是hadoop版本2.6.4。我正在写一个mapreduce作业,它需要3个参数,即关键字、输入文件路径和输出文件。我的理想输出应该是包含关键字的所有文件的名称。简单的逻辑是遍历文本中的每一行并将其与关键字匹配。如果返回true,则打印文件名。
在大量的google搜索之后,我找到了3个获取文件名的选项
Context.getConfiguration().get("map.input.file") Context.getConfiguration().get("mapreduce.map.input.file")
两个方法都返回一个值为“null”的字符串,即它们在终端屏幕上打印“null”。
最后我在site.google.com上试了一下
public Path filesplit;
filesplit=((FileSplit)context.getInputSplit()).getPath();
System.out.println(filesplit.getName())
上述方法产生了一个错误。终端输出如下:-
java.lang.Exception: java.lang.ClassCastException: org.apache.hadoop.mapreduce.lib.input.FileSplit cannot be cast to org.apache.hadoop.mapred.FileSplit
at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:462)
at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:522)
Caused by: java.lang.ClassCastException: org.apache.hadoop.mapreduce.lib.input.FileSplit cannot be cast to org.apache.hadoop.mapred.FileSplit
at org.myorg.DistributedGrep$GrepMapper.map(DistributedGrep.java:23)
at org.myorg.DistributedGrep$GrepMapper.map(DistributedGrep.java:1)
at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:145)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:784)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
at org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable.run(LocalJobRunner.java:243)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
at java.util.concurrent.FutureTask.run(FutureTask.java:262)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
有人能提出纠正这些错误的方法吗?可能出了什么问题?我有什么错误吗?
或者您对获取在Map器上执行的当前行的文件名有其他想法吗。
如果你想在这里有一个完整的代码看看
package org.myorg;
import java.io.*;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapred.FileSplit;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
public class DistributedGrep {
public static class GrepMapper extends
Mapper<Object, Text, NullWritable, Text> {
public Path filesplit;
public void map(Object key, Text value, Context context)
throws IOException, InterruptedException {
filesplit = ((FileSplit)context.getInputSplit()).getPath();
String txt = value.toString();
String mapRegex = context.getConfiguration().get("mapregex");
// System.out.println(context.getConfiguration().get("mapreduce.map.input.file");
System.out.println(filesplit.getName());
if (txt.matches(mapRegex)) {
System.out.println("Matched a line");
context.write(NullWritable.get(), value);
}
}
}
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
conf.set("mapregex", args[0]);
Job job = new Job(conf, "Distributed Grep");
job.setJarByClass(DistributedGrep.class);
job.setMapperClass(GrepMapper.class);
job.setOutputKeyClass(NullWritable.class);
job.setOutputValueClass(Text.class);
job.setNumReduceTasks(0); // Set number of reducers to zero
FileInputFormat.addInputPath(job, new Path(args[1]));
FileOutputFormat.setOutputPath(job, new Path(args[2]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}
1条答案
按热度按时间ntjbwcob1#
选项1和2
Context.getConfiguration().get("map.input.file")
Context.getConfiguration().get("mapreduce.map.input.file")
我相信这两个都会回来null
因为他们应该和年长的人一起使用mapred
api及其应用JobConf
配置对象。你的#3
选择是为客户服务的方式mapreduce
应用程序编程接口。使用
mapred
api您将执行以下操作:如下所示:https://hadoop.apache.org/docs/r2.7.2/api/org/apache/hadoop/mapred/mapper.html
这个
JobContext.MAP_INPUT_FILE
常数值过去是map.input.file
改成了mapreduce.map.input.file
在某个时刻。https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/deprecatedproperties.html
方案3
你在混合mapreduce API。有两种方法
mapred
以及mapreduce
应用程序编程接口。从错误中可以看出:
Caused by: java.lang.ClassCastException: org.apache.hadoop.mapreduce.lib.input.FileSplit cannot be cast to org.apache.hadoop.mapred.FileSplit
您已导入:import org.apache.hadoop.mapred.FileSplit
那是从mapred
api,但你用的是mapreduce
应用程序编程接口。将导入更改为:import org.apache.hadoop.mapreduce.lib.input.FileSplit;
代码中(除了导入之外)出现这种情况的一个线索是,您需要添加强制转换以使代码编译:filesplit = ((FileSplit)context.getInputSplit()).getPath();
这应该是:filesplit = context.getInputSplit().getPath();