我怎样才能改变 java.io.tmpdir 运行在yarn上的hadoop3集群的文件夹？默认情况下 /tmp/*** ，但是我的 /tmp 文件系统太小了，不适合任何工作在那里写的东西。有办法改变吗？我还设置了 hadoop.tmp.dir 在 core-site.xml ，但看起来，它并没有真正被使用。
java.io.tmpdir
/tmp/***
/tmp
hadoop.tmp.dir
core-site.xml
8zzbczxx1#
也许它是hadoop.tmp.dir？的复制品？。另外，检查/etc/hadoop/conf中的所有.conf并搜索tmp，看看是否有硬编码的内容。同时指定：您是否看到在指定为hadoop.tmp.dir的位置创建了（任何）文件。在您的更改应用后，@/tmp/**将形成什么样的文件模式。我还注意到hive在/tmp中创建文件。因此，您还可以查看@hive-site.xml。与您正在使用的任何其他生态系统产品类似。
55ooxyrt2#
我已经在yarn-site.xml中配置了yarn.nodemanager.local-dirs属性，并重新启动了集群。之后，spark停止使用/tmp文件系统并使用在yarn.nodemanager.local-dirs中配置的目录。spark执行器的java.io.tmpdir属性也设置为yarn.nodemanager.local-dirs属性中定义的目录。
<property> <name>yarn.nodemanager.local-dirs</name> <value>/somepath1,/anotherpath2</value> </property>
2条答案
按热度按时间8zzbczxx1#
也许它是hadoop.tmp.dir？的复制品？。另外，检查/etc/hadoop/conf中的所有.conf并搜索tmp，看看是否有硬编码的内容。同时指定：
您是否看到在指定为hadoop.tmp.dir的位置创建了（任何）文件。
在您的更改应用后，@/tmp/**将形成什么样的文件模式。
我还注意到hive在/tmp中创建文件。因此，您还可以查看@hive-site.xml。与您正在使用的任何其他生态系统产品类似。
55ooxyrt2#
我已经在yarn-site.xml中配置了yarn.nodemanager.local-dirs属性，并重新启动了集群。之后，spark停止使用/tmp文件系统并使用在yarn.nodemanager.local-dirs中配置的目录。spark执行器的java.io.tmpdir属性也设置为yarn.nodemanager.local-dirs属性中定义的目录。