如何为Spark软件包创建内部存储库？我想创建一个可以通过spark.jars.repositories使用的内部存储库。这只是一个Web服务器和一些JAR文件，还是我需要安装一些软件、配置元数据等？
spark.jars.repositories
4bbkushb1#
Spark需要maven风格坐标中的jar。您可以选择这里列出的一个maven存储库管理器https://maven.apache.org/repository-management.html，如Apache Archiva（开源）或JFrog Artifactory Open Source（开源）。如果你愿意手动上传工件，你可以使用一个简单的Webserver，它带有一个WebDAv模块，如https://gist.github.com/EronWright/d856aad6302e0c18ccd96164540a653c所示。
1条答案
按热度按时间4bbkushb1#
Spark需要maven风格坐标中的jar。您可以选择这里列出的一个maven存储库管理器https://maven.apache.org/repository-management.html，如Apache Archiva（开源）或JFrog Artifactory Open Source（开源）。
如果你愿意手动上传工件，你可以使用一个简单的Webserver，它带有一个WebDAv模块，如https://gist.github.com/EronWright/d856aad6302e0c18ccd96164540a653c所示。