他试图弄清楚是否可以用apachenifi或streamset实现连接。这样我就可以周期性地从hbase中读取数据,与其他表连接,并向配置单元表中写入一些字段。或者是否有其他工作流管理器工具支持此操作?
b4qexyjb1#
我不熟悉streamset,但我会尽力帮助nifi。你的平面文件是静态的吗?如果是这样,您是否希望直接替换值?您应该能够使用replacetextwithmapping处理器来实现这一点。如果不是直接替换,可以使用平面文件中的值预先填充distributedmapcache,然后使用fetchdistributedmapcache查找hbase记录。如果其他方法都失败了,那么如果您熟悉groovy、javascript或jython等脚本语言,就可以使用executescript或invokescriptedprocessor编写“join”部分。在支持csv文件、属性文件和内存中查找的查找/扩展处理器上有一个开放的jira案例(取得了一些良好的进展)。
1条答案
按热度按时间b4qexyjb1#
我不熟悉streamset,但我会尽力帮助nifi。你的平面文件是静态的吗?如果是这样,您是否希望直接替换值?您应该能够使用replacetextwithmapping处理器来实现这一点。如果不是直接替换,可以使用平面文件中的值预先填充distributedmapcache,然后使用fetchdistributedmapcache查找hbase记录。
如果其他方法都失败了,那么如果您熟悉groovy、javascript或jython等脚本语言,就可以使用executescript或invokescriptedprocessor编写“join”部分。
在支持csv文件、属性文件和内存中查找的查找/扩展处理器上有一个开放的jira案例(取得了一些良好的进展)。