webhcat&pig-如何向作业传递参数文件?

hjzp0vay  于 2021-06-21  发布在  Pig
关注(0)|答案(1)|浏览(314)

我正在使用hcatalog的webhcat api来运行pig作业,如下所述:
https://cwiki.apache.org/confluence/display/hive/webhcat+reference+pig
我运行一个简单的作业没有问题,但是我想将一个参数文件附加到该作业,例如可以使用pig命令行的参数: --param_file .
我想这是有可能的 arg 请求的参数,所以我尝试了多种方法,例如传递:

'arg': '-param_file /path/to/param.file'

或:

'arg': {'param_file': '/path/to/param.file'}

似乎没有一个能起作用,错误堆栈也不能说明什么。我想知道这是否可能,如果可能,如何正确地实现这一点。
非常感谢

flvlnr44

flvlnr441#

正确用法:

'arg': ['-param_file', '/path/to/param.file']

说明:通过传递arg中的值,

'arg': {'-param_file': '/path/to/param.file'}

webhcat为命令提示符生成“-param\u file”。pig抛出以下错误

ERROR org.apache.pig.Main - ERROR 2999: Unexpected internal error. Can not create a Path from a null string

使用逗号而不是冒号运算符将路径作为第二个参数传递给文件。webhcat将生成“-param\u file”“/path/to/param.file”
p、 s:我正在使用python上的requests库进行其余调用

相关问题