在服务器上运行sparkjob时,如何修复“用户根(用户id 0)被拒绝访问创建应用程序”错误?

gfttwv5a  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(184)

我有一个spark工作,从多个hadoop文件中读取数据并将其写入cassandra表。触发spark作业时,出现以下错误:
org.apache.hadoop.security.accesscontrolexception:已拒绝用户root(用户id 0)访问com.mapr.fs.maprfilesystem.makedir(maprfilesystem)创建应用程序\u 1558587698997 \u 88549。java:1142)在com.mapr.fs.maprfilesystem.mkdirs(maprfilesystem。java:1162)在org.apache.hadoop.fs.filesystem.mkdirs(filesystem。java:1913)在org.apache.hadoop.fs.filesystem.mkdirs(文件系统)。java:634)在org.apache.spark.deploy.yarn.client.preparelocalresources(client。scala:409)位于org.apache.spark.deploy.yarn.client.createcontainerlaunchcontext(客户端。scala:814)在org.apache.spark.deploy.yarn.client.submitapplication(client。scala:169)在org.apache.spark.scheduler.cluster.yarclientschedulerbackend.start(yarclientschedulerbackend。scala:56)在org.apache.spark.scheduler.taskschedulerimpl.start(taskschedulerimpl。scala:173)在org.apache.spark.sparkcontext。scala:509)在org.apache.spark.api.java.javasparkcontext。scala:58)在com.walmart.labs.back.to.school.teachersistetlforlist.(教师列表)。java:99)在com.walmart.labs.back.to.school.teachersistetlforlist.main(teachersistetlforlist。java:605)在sun.reflect.nativemethodaccessorimpl.invoke0(本机方法)在sun.reflect.nativemethodaccessorimpl.invoke(nativemethodaccessorimpl)。java:62)在sun.reflect.delegatingmethodaccessorimpl.invoke(delegatingmethodaccessorimpl。java:43)在java.lang.reflect.method.invoke(方法。java:497)在org.apache.spark.deploy.sparksubmit$.org$apache$spark$deploy$sparksubmit$$runmain(sparksubmit)。scala:759)在org.apache.spark.deploy.sparksubmit$.dorunmain$1(sparksubmit。scala:180)在org.apache.spark.deploy.sparksubmit$.submit(sparksubmit。scala:205)位于org.apache.spark.deploy.sparksubmit$.main(sparksubmit.com)。scala:119)位于org.apache.spark.deploy.sparksubmit.main(sparksubmit.scala)
当我将master设置为local时,它可以工作,但是由于文件的大小很大,因此出现了内存不足的异常。我也试图设置如下,但无法修复它。
sparkconf.setmaster(“local[4]”);
这是我当前的配置设置:
sparkconf.setmaster(jobconfig.getstring(“spark.context settings.master”));
我想用相同的配置运行它,但不确定如何解决这个问题。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题