hadoop任务跟踪器-所有本地目录都不可写

vlju58qv  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(335)

我有一个10节点的集群。当我提交配置单元作业时,会出现以下错误-

WARN org.apache.hadoop.mapred.TaskTracker: Task Tracker local Incorrect permission for /data/gomz/mapred/local, expected: rwxr-xr-x, while actual: rwxrwxr-x
ERROR org.apache.hadoop.mapred.TaskTracker: Can not start TaskTracker because org.apache.hadoop.util.DiskChecker$DiskErrorException: all local directories are not writable
    at org.apache.hadoop.mapred.TaskTracker.checkLocalDirs(TaskTracker.java:5268)
    at org.apache.hadoop.mapred.TaskTracker.initializeDirectories(TaskTracker.java:907)
    at org.apache.hadoop.mapred.TaskTracker.initialize(TaskTracker.java:979)
    at org.apache.hadoop.mapred.TaskTracker.<init>(TaskTracker.java:2176)
    at org.apache.hadoop.mapred.TaskTracker.main(TaskTracker.java:5310)
``` `mapred.local.dir` 两者都有 `mapred-site.xml` 以及 `taskcontroller.cfg` 指向 `/data/gomz/mapred/local` 对于配置单元会话,我使用以下设置:

SET hive.exec.scratchdir=/dev/tmp/hive;
SET hive.metastore.warehouse.dir=/dev/warehouse; (setting works for Hive jobs that do not launch MR)

错误可能引用的其他本地目录是什么?
8hhllhi2

8hhllhi21#

你能查一下你的许可吗 /data ?
你能试试这个命令吗?

sudo chown $USER /data

执行此命令后,请重试。

相关问题