有没有一种方法可以将mapreduce作业的输出导入到sql表中？我想知道是否可以将mapreduce job（mapreduce job应该负责导出）的输出自动导入到sql表（mysql、oracle等…）中。我知道sqoop可以作为一种工具，但是它可以用于mrjob吗？
kx1ctssn1#
除非您在reducer中编写一些代码，而不是将输出写入上下文，而是通过jdbc连接到sql表并插入它（这将是一个非常糟糕的主意），否则您唯一能做的就是使用oozie自动执行mapreduce作业，然后使用sqoop执行插入。oozie是一个工作流调度器，用于自动化所有这些类型的操作。你可以在这里找到更多的信息。
1条答案
按热度按时间kx1ctssn1#
除非您在reducer中编写一些代码，而不是将输出写入上下文，而是通过jdbc连接到sql表并插入它（这将是一个非常糟糕的主意），否则您唯一能做的就是使用oozie自动执行mapreduce作业，然后使用sqoop执行插入。oozie是一个工作流调度器，用于自动化所有这些类型的操作。你可以在这里找到更多的信息。