嗨，我想知道当我使用提交mapreduce作业的jar时，如何部署一个非jar文件 hadoop jar ..args.. .对于hadoop流媒体，有 --file 选择发送文件和Spark我们有 --files 但我在文件里找不到这样的选项。在提交hadoop map reduce作业时，是否可以将非jar文件与我的jar一起发送？
hadoop jar ..args..
--file
--files
azpvetkf1#
应用程序可以使用选项-files指定一个逗号分隔的路径列表，该列表将出现在任务的当前工作目录中-libjars选项允许应用程序将jar添加到Map的类路径中并减少。选项-archives允许它们将逗号分隔的存档列表作为参数传递。这些存档是未存档的，并且在任务的当前工作目录中创建了一个带有存档名称的链接。有关命令行选项的更多详细信息，请参阅《命令指南》。使用-libjars、-files和-archives运行wordcount示例：hadoop jar hadoop-examples.jar wordcount-files cachefile.txt-libjars mylib.jar-archives myarchive.zip输入输出，myarchive.zip将被放置并解压缩到名为“myarchive.zip”的目录中。用户可以使用#为通过-files和-archives选项传递的文件和归档文件指定不同的符号名。例如，hadoop jar hadoop-examples.jar wordcount-files dir1/dict.txt#dict1，dir2/dict.txt#dict2-archives mytar.tgz#tgzdir input-output在这里，任务可以分别使用符号名dict1和dict2访问文件dir1/dict.txt和dir2/dict.txt。归档文件mytar.tgz将被放置并未归档到名为“tgzdir”的目录中。
1条答案
按热度按时间azpvetkf1#
应用程序可以使用选项-files指定一个逗号分隔的路径列表，该列表将出现在任务的当前工作目录中
-libjars选项允许应用程序将jar添加到Map的类路径中并减少。选项-archives允许它们将逗号分隔的存档列表作为参数传递。这些存档是未存档的，并且在任务的当前工作目录中创建了一个带有存档名称的链接。有关命令行选项的更多详细信息，请参阅《命令指南》。
使用-libjars、-files和-archives运行wordcount示例：hadoop jar hadoop-examples.jar wordcount-files cachefile.txt-libjars mylib.jar-archives myarchive.zip输入输出，myarchive.zip将被放置并解压缩到名为“myarchive.zip”的目录中。
用户可以使用#为通过-files和-archives选项传递的文件和归档文件指定不同的符号名。
例如，hadoop jar hadoop-examples.jar wordcount-files dir1/dict.txt#dict1，dir2/dict.txt#dict2-archives mytar.tgz#tgzdir input-output在这里，任务可以分别使用符号名dict1和dict2访问文件dir1/dict.txt和dir2/dict.txt。归档文件mytar.tgz将被放置并未归档到名为“tgzdir”的目录中。