我有一个java脚本（用于Map-reduce计算），想在amazon EMR集群上生成一个jar文件，但我不确定这是否可能？还是必须在本地生成jar文件，然后将其传输到集群？任何意见，想法或命令，为这种情况下是赞赏。
m3eecexj1#
JDK包含构建JAR文件的命令，是的，但我建议您使用Maven/Gradle来打包应用程序代码沿着依赖项。不需要传输到群集。例如，yarn jar和spark-submit都接受本地文件提交（但随后会将文件复制到HDFS）
yarn jar
spark-submit
1条答案
按热度按时间m3eecexj1#
JDK包含构建JAR文件的命令，是的，但我建议您使用Maven/Gradle来打包应用程序代码沿着依赖项。
不需要传输到群集。例如，
yarn jar和spark-submit都接受本地文件提交（但随后会将文件复制到HDFS）