我有一个java程序,它在mapreduce模式下执行一个pig脚本。代码如下:
import java.io.IOException;
import java.util.Properties;
import org.apache.pig.ExecType;
import org.apache.pig.PigServer;
import org.apache.pig.backend.executionengine.ExecException;
public class pigCV {
public static void main(String args[]){
PigServer pigServer;
try {
Properties props = new Properties();
props.setProperty("fs.default.name", "hdfs://hdfs://localhost:8022");
props.setProperty("mapred.job.tracker", "localhost:8021");
pigServer = new PigServer(ExecType.MAPREDUCE, props);
pigServer.registerScript("Desktop/text_v3.pig");
}
catch (ExecException e) { e.printStackTrace(); }
catch (IOException e) { e.printStackTrace(); }
}
}
问题是输出非常冗长。
所以我想知道这是否可以在静默模式下运行脚本。
谢谢你的帮助。
1条答案
按热度按时间jrcvhitl1#
我不认为
PigServer
支持在静默模式下运行。但是,您可以编写java代码来拦截stdin
和/或stdout
然后编写代码来决定哪些内容要打印到屏幕上,哪些内容要忽略或写入文件。在这个链接中有一个如何做到这一点的例子。