我怎样才能改变 java.io.tmpdir 运行在yarn上的hadoop3集群的文件夹?默认情况下 /tmp/*** ,但是我的 /tmp 文件系统太小了,不适合任何工作在那里写的东西。有办法改变吗?我还设置了 hadoop.tmp.dir 在 core-site.xml ,但看起来,它并没有真正被使用。
java.io.tmpdir
/tmp/***
/tmp
hadoop.tmp.dir
core-site.xml
8zzbczxx1#
也许它是hadoop.tmp.dir?的复制品?。另外,检查/etc/hadoop/conf中的所有.conf并搜索tmp,看看是否有硬编码的内容。同时指定:您是否看到在指定为hadoop.tmp.dir的位置创建了(任何)文件。在您的更改应用后,@/tmp/**将形成什么样的文件模式。我还注意到hive在/tmp中创建文件。因此,您还可以查看@hive-site.xml。与您正在使用的任何其他生态系统产品类似。
55ooxyrt2#
我已经在yarn-site.xml中配置了yarn.nodemanager.local-dirs属性,并重新启动了集群。之后,spark停止使用/tmp文件系统并使用在yarn.nodemanager.local-dirs中配置的目录。spark执行器的java.io.tmpdir属性也设置为yarn.nodemanager.local-dirs属性中定义的目录。
<property> <name>yarn.nodemanager.local-dirs</name> <value>/somepath1,/anotherpath2</value> </property>
2条答案
按热度按时间8zzbczxx1#
也许它是hadoop.tmp.dir?的复制品?。另外,检查/etc/hadoop/conf中的所有.conf并搜索tmp,看看是否有硬编码的内容。同时指定:
您是否看到在指定为hadoop.tmp.dir的位置创建了(任何)文件。
在您的更改应用后,@/tmp/**将形成什么样的文件模式。
我还注意到hive在/tmp中创建文件。因此,您还可以查看@hive-site.xml。与您正在使用的任何其他生态系统产品类似。
55ooxyrt2#
我已经在yarn-site.xml中配置了yarn.nodemanager.local-dirs属性,并重新启动了集群。之后,spark停止使用/tmp文件系统并使用在yarn.nodemanager.local-dirs中配置的目录。spark执行器的java.io.tmpdir属性也设置为yarn.nodemanager.local-dirs属性中定义的目录。