rmr.options中的hdfs temp目录

ao218c7q  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(411)

我是hadoop的新手,所以如果这个问题很愚蠢的话,请夸奖我。我有一个本地单节点集群。我试图在rhadoop中执行一个简单的mapreduce作业,得到以下消息:

> wordcount('/data/complete_works_of_shakespeare.txt')
Error creating temp dir in hadoop.tmp.dir /app/hadoop/tmp due to Permission denied
Show Traceback

 Rerun with Debug
 Error in mr(map = map, reduce = reduce, combine = combine, vectorized.reduce,  : 
      hadoop streaming failed with error code 255 Also warnings: 
1: In rmr.options("backend") :
  Please set an HDFS temp directory with rmr.options(hdfs.tempdir = ...)
2: In rmr.options("hdfs.tempdir") :
  Please set an HDFS temp directory with rmr.options(hdfs.tempdir = ...)
3: In rmr.options("backend") :
  Please set an HDFS temp directory with rmr.options(hdfs.tempdir = ...)
4: In rmr.options("backend.parameters") :
  Please set an HDFS temp directory with rmr.options(hdfs.tempdir = ...)

我该怎么设置所有这些选项?hdfs.tempdir的路径应该是什么样的?我想将temp目录设置为(如果我正确理解r想从我这里得到什么):

hduser@nina:~$ hadoop fs -ls /
 14/08/10 12:52:47 WARN util.NativeCodeLoader: Unable to load native-hadoop library for      your platform... using builtin-java classes where applicable
 Found 6 items
 ...
 drwxr-xr-x   - hduser supergroup          0 2014-08-10 00:04 /temp

顺便说一句,我已经试过了

rmr.options(backend="hadoop")
NULL
Warning:
In rmr.options(backend = "hadoop") :
  Please set an HDFS temp directory with rmr.options(hdfs.tempdir = ...)

请帮忙。非常感谢。
升级版本:
也尝试过:

hduser@nina:~$ sudo chmod -R 777 '/app/hadoop' 
 hduser@nina:~$ sudo chmod -R 777 '/tmp'

没用。

wribegjk

wribegjk1#

验证您是否对app/hadoop目录有创建文件夹的权限。在目录上尝试chown。例如:

sudo chown <userid> <directory_path>

相关问题