如何使用apachenifi将csv或json文件存储到hive?

62lalag4  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(336)

我注意到nifi中没有可以直接将文件存储到hive中的处理器。有没有处理器的组合可以帮助这一点,或者有没有可用的模板可以做到这一点?
谢谢。

pzfprimi

pzfprimi1#

在nifi的下一个版本(0.7.0)中,将有一些与hive交互的初始处理器。其中一个是puthiveql,它可以将带有hiveql语句的流文件作为内容,并使用hivejdbc驱动程序执行它。
csv或json的可能流程是首先将数据解析为构造insert语句所需的值,可能使用extracttext或evaluatejsonpath,然后使用replacetext和expressions语言构造insert语句。
没有配置单元处理器的另一种常见方法是使用puthdfs处理器将数据存储到hdfs中的一个目录中,然后在此基础上创建一个外部配置单元表。

相关问题