pig-load错误时继续

nnvyjq4y 于 2021-06-03 发布在 Hadoop

关注(0)|答案(2)|浏览(282)

新来的Pig。
我正在将数据加载到这样一个关系中：

raw_data = LOAD '$input_path/abc/def.*;

它工作得很好，但是如果找不到任何匹配def.*的文件，整个脚本就会失败。
这里是一种在没有匹配项时继续脚本其余部分的方法。只产生一个空集？
我试着做：

raw_data = LOAD '$input_path/abc/def.* ONERROR Ignore();

但这不能解析。

2条答案

不，没有这样的功能，至少我听说过。我还要说，“生成一个空集”是“根本不运行脚本”。
如果在某些情况下不想运行pig脚本，那么我建议使用 Package shell脚本或pig嵌入：http://pig.apache.org/docs/r0.11.1/cont.html

您可以编写一个自定义的loadudf，返回文件或空元组。
http://wiki.apache.org/pig/udfmanual