我正在尝试运行基本的嵌入式java代码。
我正在从远程机器访问hadoop集群。
Hadoop版本: 2.0.0-cdh4.3.0
,版本: 0.11.0-cdh4.3.0
代码如下所示:
Properties lProperties = new Properties();
lProperties.setProperty("fs.defaultFS", "<server>:<hdfsport>");
lProperties.setProperty("yarn.resourcemanager.address", "<server>:<port>");
try {
PigServer pigServer = new PigServer(ExecType.MAPREDUCE,lProperties);
pigServer.registerQuery("A = load '/input_data/pig_input.txt' as (key,name);");
pigServer.registerQuery("B = foreach A generate $0 as id;");
pigServer.store("B", "test_output");
}
我能够独立地使用putty ssh运行pig命令和pig脚本。但是,在eclipse ide中运行上述java代码时,出现以下错误: java.io.IOException: Cannot run program "cygpath": CreateProcess error=2, The system cannot find the file specified
必须安装cygwin才能在java中成功运行嵌入式pig吗??
1条答案
按热度按时间kuuvgm7e1#
对于清管器版本
0.11
cygwin是个依赖者。从版本0.12
在上,不再需要cygwin,但是您可能仍然需要一些必要的实用程序,例如sed
以及gzip
安装。见pig-2793,使pig在没有cygwin的情况下在Windows上工作。