一种浅层方法是将过滤分为几个阶段。在第一阶段过滤关键字1到100，然后过滤另外100，以此类推，总共过滤（count（keywords）/100）个阶段。然而，考虑到数据的更多细节，可能有更好的解决方案。
对于上面的浅层解决方案，您可以将pig脚本 Package 在shell脚本中，该脚本对输入进行打包，并开始对正在筛选的当前关键字子集运行。

您可以编写一个简单的过滤器自定义项，在其中执行所有检查，例如：

package myudfs;
 import java.io.IOException;
 import org.apache.pig.FilterFunc;
 import org.apache.pig.data.Tuple;

 public class MYFILTER extends FilterFunc
 {
    static List<String> filterList;
    static MYFILTER(){
        //load all filters
    }
    public Boolean exec(Tuple input) throws IOException {
        if (input == null || input.size() == 0)
            return null;
        try{
            String str = (String)input.get(0);
           return !filterList.contains(str);
        }catch(Exception e){
            throw new IOException("Caught exception processing input row ", e);
        }
    }

  }