我使用yarn-jar命令运行mr作业，它在/tmp文件夹中创建了一个临时jar，它将填充整个磁盘空间。我想将这个jar的路径重定向到我有更多磁盘空间的其他文件夹。在这个链接上，我知道我们可以通过设置hadoopversion1.x的属性mapred.local.dir来更改路径。我使用以下命令来运行jar
yarn jar myjar.jar MyClass myyml.yml arg1 -D mapred.local.dir="/grid/1/uie/facts"上面的参数mapred.local.dir没有改变路径，它仍然在tmp文件夹中创建jar。
1条答案
按热度按时间zbq4xfa01#
发现了不将unjar文件写入/tmp文件夹的漏洞。显然，这不是一个可配置的行为，因此我们可以通过调用生成的类路径来避免使用“hadoop jar”或“yarn jar”（runjar实用程序）：
java-cp$（hadoop类路径）：my-fat-jar-with-all-dependencies.jar your.app.mainclass
1参考链接