我正在使用hcatalog的webhcat api来运行pig作业,如下所述:
https://cwiki.apache.org/confluence/display/hive/webhcat+reference+pig
我运行一个简单的作业没有问题,但是我想将一个参数文件附加到该作业,例如可以使用pig命令行的参数: --param_file
.
我想这是有可能的 arg
请求的参数,所以我尝试了多种方法,例如传递:
'arg': '-param_file /path/to/param.file'
或:
'arg': {'param_file': '/path/to/param.file'}
似乎没有一个能起作用,错误堆栈也不能说明什么。我想知道这是否可能,如果可能,如何正确地实现这一点。
非常感谢
1条答案
按热度按时间flvlnr441#
正确用法:
说明:通过传递arg中的值,
webhcat为命令提示符生成“-param\u file”。pig抛出以下错误
使用逗号而不是冒号运算符将路径作为第二个参数传递给文件。webhcat将生成“-param\u file”“/path/to/param.file”
p、 s:我正在使用python上的requests库进行其余调用