我注意到nifi中没有可以直接将文件存储到hive中的处理器。有没有处理器的组合可以帮助这一点,或者有没有可用的模板可以做到这一点?谢谢。
pzfprimi1#
在nifi的下一个版本(0.7.0)中,将有一些与hive交互的初始处理器。其中一个是puthiveql,它可以将带有hiveql语句的流文件作为内容,并使用hivejdbc驱动程序执行它。csv或json的可能流程是首先将数据解析为构造insert语句所需的值,可能使用extracttext或evaluatejsonpath,然后使用replacetext和expressions语言构造insert语句。没有配置单元处理器的另一种常见方法是使用puthdfs处理器将数据存储到hdfs中的一个目录中,然后在此基础上创建一个外部配置单元表。
1条答案
按热度按时间pzfprimi1#
在nifi的下一个版本(0.7.0)中,将有一些与hive交互的初始处理器。其中一个是puthiveql,它可以将带有hiveql语句的流文件作为内容,并使用hivejdbc驱动程序执行它。
csv或json的可能流程是首先将数据解析为构造insert语句所需的值,可能使用extracttext或evaluatejsonpath,然后使用replacetext和expressions语言构造insert语句。
没有配置单元处理器的另一种常见方法是使用puthdfs处理器将数据存储到hdfs中的一个目录中,然后在此基础上创建一个外部配置单元表。