我试图在hadoop上运行mapreduce作业，读取制表符分隔文件的第五个条目（第五个条目是用户评论），然后对它们进行一些情绪分析和字数统计。
但是，正如您所知，用户评论通常包括换行符和空行。我的代码遍历每个评论的单词来查找关键字，并检查是否找到关键字。
问题是，当代码在评审中迭代时，它会给我 ArrayIndexOutofBoundsException 由于一次审阅中出现这些换行符和空行而导致的错误。
我试过使用 replaceAll("\r", " ") 以及 replaceAll("\n", " ") 无济于事。
我也试过了 if(tokenizer.countTokens() == 2){ word.set(tokenizer.nextToken());} else { } 也无济于事。下面是我的代码：

public class KWSentiment_Mapper extends Mapper<LongWritable, Text, Text, IntWritable> {
ArrayList<String> keywordsList = new ArrayList<String>();
ArrayList<String> posWordsList = new ArrayList<String>();
ArrayList<String> tokensList = new ArrayList<String>();
int e;

@Override
public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

    String[] line = value.toString().split("\t");
    String Review = line[4].replaceAll("[\\-\\+\\\\)\\.\\(\"\\{\\$\\^:,]", "").toLowerCase();

    StringTokenizer tokenizer = new StringTokenizer(Review);

    while (tokenizer.hasMoreTokens()) {
        // 1- first read the review line and store the tokens in an arraylist, 2-
        // iterate through review to check for KW if found
        // 3-check if there's PosWord near (upto +3 and -2)
        // 4- setWord & context.write 5- null the review line arraylist
        String CompareString = tokenizer.nextToken();

        tokensList.add(CompareString);
    }
    {
    for (int i = 0; i < tokensList.size(); i++)

    {

        for (int j = 0; j < keywordsList.size(); j++) {
            boolean flag = false;

            if (tokensList.get(i).startsWith(keywordsList.get(j)) == true) {

                for (int e = Math.max(0, i - 2); e < Math.min(tokensList.size(), i + 4); e++) {

                    if (posWordsList.contains(tokensList.get(e))) {

                        word.set(keywordsList.get(j));
                        context.write(word, one);
                        flag = true;

                        break; // breaks out of e loop }}
                    }
                }
            }
            if (flag)
                break;
        }
    }
    tokensList.clear();
}

}
预期结果如下：以发生错误的两个评审案例为例：
案例一：“漂亮宽敞！
我强烈推荐这个地方和伟大的主人。”
案例2：“一般来说，这个地方真的很安静，但我们没有被留下来的感觉。
除此之外，浴室很大，淋浴也很好，但也有问题。”
系统应该将整个评论作为一行来阅读，并遍历其中的单词。但是，它在发现换行符或空行时停止，如案例2所示。
案例1应该是这样的：“美丽而宽敞！我强烈推荐这个地方和伟大的主人。”
第二种情况应该是：“一般来说，这个地方真的很安静，但我们没有被留下来的感觉。除此之外，浴室很大，淋浴也很好，但也有问题。”
我的时间不多了，非常感谢您的帮助。
谢谢！