我只是想确定我没有遗漏什么。我在做一个 InputFormat 为了让hive处理我们特定的hdfs文件格式。我刚意识到它需要扩展 mapred.InputFormat 而不是 mapreduce.InputFormat 是这样吗？还是我遗漏了什么？我能用这个吗 FileInputFormat 从 mapreduce 包裹？
InputFormat
mapred.InputFormat
mapreduce.InputFormat
FileInputFormat
mapreduce
nnt7mjpx1#
你必须使用 mapred.InputFormat 配置单元尚未完全迁移到新包。您是否需要/想要使用 mapreduce.InputFormat 不管什么原因，你都可以 Package mapreduce.InputFormat . 事实上，这就是我所做的，让它与Hive互动，但仍然利用 mapreduce 包裹。编辑：为了在两种类型的api之间进行互操作，我抽象了将文件记录读取到另一个类的逻辑，并在两种输入格式中使用它。
1条答案
按热度按时间nnt7mjpx1#
你必须使用
mapred.InputFormat配置单元尚未完全迁移到新包。您是否需要/想要使用mapreduce.InputFormat不管什么原因，你都可以 Packagemapreduce.InputFormat. 事实上，这就是我所做的，让它与Hive互动，但仍然利用mapreduce包裹。编辑：为了在两种类型的api之间进行互操作，我抽象了将文件记录读取到另一个类的逻辑，并在两种输入格式中使用它。