我从命令行构建并运行了nutch1.7
hadoop jar apache-ntuch-1.7.job org.apache.nutch.crawl.crawlhdfs://myserver/nutch/urls -目录hdfs://myserver/nutch/crawl -深度5-顶部100
但当我在oozie做同样的事情时,它总是出错:hdfs://myserver/nutch/crawl/crawldb/current,应为:文件:///
每次代码执行时,我都检查源代码
filesystem fs=new jobclient(job).getfs();
fs被改回本地fs。
我重写这些语句的所有示例,然后作业在fetch阶段终止,只说java.io.ioexception:job failed!在org.apache.hadoop.mapred.jobclient.runjob(jobclient。java:838)
从oozie运行确实会导致加载错误版本的jobclient类(来自hadoop core.jar)。
有人见过这个吗?
1条答案
按热度按时间dwthyt8l1#
oozie conf目录似乎缺少正确的*-site.xml文件。我将mapred-site.xml添加到/etc/oozie/conf/hadoop-conf目录中,这个问题就消失了。