hadoop支持在内存中挂载本地dir吗?

zxlwwiss  于 2021-05-31  发布在  Hadoop
关注(0)|答案(0)|浏览(281)

yarn-site.xml文件

<property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/data/yarn/local-dirs</value>
</property>

我将dir装载到内存:mount-t ramfs-o size=4096mb ramfs/data/yarn/local dirs
重新启动hadoop群集并运行作业:
Yarn罐x.jar/input/.txt/output/
出现错误:org.apache.hadoop.util.diskchecker$diskerrorexception:任何本地目录中都没有可用空间。在org.apache.hadoop.fs.localdirallocator$allocatorpercontext.getlocalpathforwrite(localdirallocator。java:416)在org.apache.hadoop.fs.localdirallocator.getlocalpathforwrite(localdirallocator。java:165)在org.apache.hadoop.fs.localdirallocator.getlocalpathforwrite(localdirallocator。java:146)在org.apache.hadoop.fs.localdirallocator.getlocalpathforwrite(localdirallocator。java:130)在org.apache.hadoop.yarn.server.nodemanager.localdirshandlerservice.getlocalpathforwrite(localdirshandlerservice。java:599)在org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.resourcelocalizationservice$localizerrunner.run(资源本地化服务)。java:1235)
如果我安装dir,Yarn运行作业就可以了!
hadoop支持在内存中挂载本地dir吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题