hadoop linereader-反向读取文本文件

oxiaedzo  于 2021-06-03  发布在  Hadoop
关注(0)|答案(0)|浏览(292)

在一个场景中,我们需要从下到上读取一堆文件。也就是说,按照相反的顺序,即最后一行,然后是最后一行。
在hadoopapi中有很多recordreader类,比如linerecordreader,它利用了linereader。基本上我需要一个反向阅读器利用反向阅读器。reverselinereader将以相反的顺序读取来自输入拆分的行。
如果您有一个按某种顺序排序的大文件,其中需要有与某个键相关的第一个和最后一个条目,那么这将非常有用。所以你要先从上往下扫描,然后再从下往上扫描。
因为我猜这不是很奇怪,但找不到任何实现,我想知道是否有人可以帮助这里。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题