根据spark.jars.packages
1的文档,Spark依赖首先在本地和Maven Central中搜索,然后从spark.jars.repositories
中自定义repos:
要包含在驱动程序和执行器类路径上的jar的Maven坐标列表,以逗号分隔。坐标应该是groupId:artifactId:version。如果给定spark.jars.ivySettings,则将根据文件中的配置解析工件,否则将在本地maven repo中搜索工件,然后在maven central中搜索工件,最后在命令行选项--repositories中搜索任何其他远程存储库。
我想改变spark.jars.ivySettings
的顺序(首先是自定义仓库),但不知道文件的确切语法。一个简单的例子会有所帮助!
1条答案
按热度按时间iugsix8n1#
以下是在Maven Central之前配置GCS Maven Mirror的示例:
字符串
我发现这个帖子很有用:Use public maven repository with ivy。