java—将hashmap作为Map器的输入而不是文件

ifsvaxew  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(419)

我正在编写一个mr代码来对hbase和hdfs中可用的数据执行regex模式匹配。我的输入文件是一个大的csv文件,它有从hbase获取唯一数据的键。此输入文件可以有重复项。
我的问题-在我的主类中-我想读取输入文件并执行一些处理,并将数据保存到hashmap中,然后再将其提供给mapper类。在我看到的所有示例中,我们只能输入文件路径作为mapper类的输入,有没有办法将hashmap输入到mapper而不是文件?
谢谢你,呼吸维亚斯

6ojccjat

6ojccjat1#

两件事:map reduce处理hdfs中的数据。因此,最好的选择是将Map数据保存为hdfs中的文件,然后转向map reduce。但是,既然您的数据来自hbase,为什么不使用它,读取数据并对其执行regex操作呢。如果我错过了什么,请告诉我

相关问题