在mapreduce中的一个Map器中读取下一行

gajydyqb  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(300)

我有一个文本输入文件,它由换行符分隔。在每个Map器中,我需要读取我的键/值的下一行。例如,在此数据中:

L1

L2

L3

我需要这样的东西:

L1

L2

在下一个Map器中:

L2

L3

提前谢谢。

c0vxltue

c0vxltue1#

除了custominputformat之外,您还可以像 Map 每次打电话都要接
例子:

t30tvxxf

t30tvxxf2#

您需要编写自定义inputformat类来读取您的文件,并将它们拆分为两行的记录。标准textfileinput每次读取一行,并将结果流交给sorter。因此,您的文件将在进程的一开始就失去对行的排序。
这里有更多的信息。

相关问题