pig脚本的java优化

iugsix8n  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(233)

我已经写了一个'Pig脚本'这是处理序列文件作为输入。它工作正常,但有一个问题提到下面。
我的Pig脚本中有重复的语句,如下所示:

Filtered_Data _1= FILTER BagName BY ($0 matches 'RegEx-1');
Filtered_Data_2 = FILTER BagName BY ($0 matches 'RegEx-2');
Filtered_Data_3 = FILTER BagName BY ($0 matches 'RegEx-3');
So on…

问:那么有没有什么方法可以让我把上面的语句写一次,然后在pig脚本中遍历所有可能的“regex”和替换。
例如:

Filtered_Data _X  =   FILTER BagName BY ($0 matches 'RegEx');  ( have this statement once )
( loop through all possible RegEx and substitute value in the statement )

现在我正在从shell脚本调用pig脚本,所以任何来自shell脚本的方法都将是受欢迎的,甚至是java Package 器。。。
提前谢谢。快乐的清管!!!!

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题