embedded pig-in-java:java.io.ioexception:无法运行程序“cygpath”

cwxwcias  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(424)

我正在尝试运行基本的嵌入式java代码。
我正在从远程机器访问hadoop集群。
Hadoop版本: 2.0.0-cdh4.3.0 ,版本: 0.11.0-cdh4.3.0 代码如下所示:

  1. Properties lProperties = new Properties();
  2. lProperties.setProperty("fs.defaultFS", "<server>:<hdfsport>");
  3. lProperties.setProperty("yarn.resourcemanager.address", "<server>:<port>");
  4. try {
  5. PigServer pigServer = new PigServer(ExecType.MAPREDUCE,lProperties);
  6. pigServer.registerQuery("A = load '/input_data/pig_input.txt' as (key,name);");
  7. pigServer.registerQuery("B = foreach A generate $0 as id;");
  8. pigServer.store("B", "test_output");
  9. }

我能够独立地使用putty ssh运行pig命令和pig脚本。但是,在eclipse ide中运行上述java代码时,出现以下错误: java.io.IOException: Cannot run program "cygpath": CreateProcess error=2, The system cannot find the file specified 必须安装cygwin才能在java中成功运行嵌入式pig吗??

kuuvgm7e

kuuvgm7e1#

对于清管器版本 0.11 cygwin是个依赖者。从版本 0.12 在上,不再需要cygwin,但是您可能仍然需要一些必要的实用程序,例如 sed 以及 gzip 安装。
见pig-2793,使pig在没有cygwin的情况下在Windows上工作。

相关问题