通过oozie运行查询(无脚本)

2nc8po8w  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(326)

我试图通过oozie提交临时性质的非预处理查询。来自oozie配置单元操作扩展文档http://oozie.apache.org/docs/3.3.1/dg_hiveactionextension.html,我可以在我的工作流xml中有以下内容file:-

<script>someScriptWithQuery.q</script>
        <param>TABLE=foo</param>

这里somescriptwithquery.q可以包含带有参数化tablename的配置单元查询,并且需要驻留在hdfs系统上。
我想了解的是-如果我有一个
(1) 不可能预先形成一个查询,但它必须建立在临时的基础上(基本上意味着我不能在上面的工作流xml中使用“script”标记),并且
(2) 在hdfs系统上有一个脚本是不可行的(因此我不能参数化整个查询)
在这个场景中-如何通过oozie提交查询?我的问题与post-here使用oozie通过hive/hadoop调度一个特殊查询有关。
有没有其他可能的方法来实现这一点?在此方面的任何帮助都将不胜感激。

bpzcxfmw

bpzcxfmw1#

回答你的两个问题:
1) 可以,只需添加另一个节点,如:

<script>someScriptWithQuery.q</script>
<param>TABLE=foo</param>
<file>someTransformScript</file?

然后在查询中使用该脚本并使用“sometransformscript”
2) 如果您的hadoop服务器支持该脚本,那么它总是可行的,例如,您的节点具有所有必需的依赖项等等
希望这有帮助

相关问题