map reduce作业中的拆分

yk9xbfzb  于 2021-06-04  发布在  Hadoop
关注(0)|答案(0)|浏览(221)

我有一个输入文件,我需要自定义 RecordReader . 但是,这里的问题是,数据可能分布在不同的输入分割中,不同的Map器可能得到第一个Map器应该使用的数据。
例如。
a、b、c、d
$e至f
开头的“$”表示它是前一行的延续。
考虑到这一点,第二部分从美元开始。现在,我的第一个Map绘制者不会知道有什么东西在延续第一行。请注意,我的数据中很有可能没有第二行。所以,除非我读到第二行,否则我无法判断我的数据是否有继续的地方。
请帮我找到解决这个问题的办法。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题