nifi或streamset从hbase读取内容,与平面文件中的内容连接并写入配置单元

yi0zb3m4  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(357)

他试图弄清楚是否可以用apachenifi或streamset实现连接。这样我就可以周期性地从hbase中读取数据,与其他表连接,并向配置单元表中写入一些字段。
或者是否有其他工作流管理器工具支持此操作?

b4qexyjb

b4qexyjb1#

我不熟悉streamset,但我会尽力帮助nifi。你的平面文件是静态的吗?如果是这样,您是否希望直接替换值?您应该能够使用replacetextwithmapping处理器来实现这一点。如果不是直接替换,可以使用平面文件中的值预先填充distributedmapcache,然后使用fetchdistributedmapcache查找hbase记录。
如果其他方法都失败了,那么如果您熟悉groovy、javascript或jython等脚本语言,就可以使用executescript或invokescriptedprocessor编写“join”部分。
在支持csv文件、属性文件和内存中查找的查找/扩展处理器上有一个开放的jira案例(取得了一些良好的进展)。

相关问题