我在Map部分得到数组索引越界错误。我的代码如下。我正在尝试从hdfs读取输入文件。有没有更好的方法来读取hdfs文件?
public static class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, Text>
{
private Text key12 = new Text();
private Text value = new Text();
public void map(LongWritable key, Text value, OutputCollector<Text, Text> output, Reporter reporter) throws IOException
{
String line=value.toString();
while((line = value.toString()) != null)
{
//StringTokenizer tokenizer = new StringTokenizer(line);
//String field = tokenizer.nextToken();
//
String[] parts= line.split(" ");
if(parts[0].contains("STN") == false)
{
String field=parts[0];
String month=parts[3];
String temp;
if(parts[7].trim().equals(""))
{
temp=parts[8];
}
else
temp=parts[7];
//tokenizer.nextToken();
//String month = tokenizer.nextToken();
month=month.substring(4,6);
//String temp = tokenizer.nextToken();
String val = month+temp;
key12.set(field);
value.set(val);
output.collect(key12, value);
}
}
}
1条答案
按热度按时间mlmc2os51#
有很多地方可能会出错,不管这个错误在哪里。如果…怎么办
parts
没有9个元素?如果它确实有9个元素,但其中一些是空的呢?如果…怎么办line
里面没有空格字符吗?如果…怎么办month
里面只有三个字?处理好所有这些情况,你的问题就会得到解决。
作为旁白,使用
而不是
并考虑提取一些字符串(例如
"STN"
以及" "
进入private static final String
变量。这将大大提高你的表现。