使用spark.jars.ivySettings更改Maven存储库的顺序

rjjhvcjd  于 12个月前  发布在  Apache
关注(0)|答案(1)|浏览(258)

根据spark.jars.packages1的文档,Spark依赖首先在本地和Maven Central中搜索,然后从spark.jars.repositories中自定义repos:
要包含在驱动程序和执行器类路径上的jar的Maven坐标列表,以逗号分隔。坐标应该是groupId:artifactId:version。如果给定spark.jars.ivySettings,则将根据文件中的配置解析工件,否则将在本地maven repo中搜索工件,然后在maven central中搜索工件,最后在命令行选项--repositories中搜索任何其他远程存储库。
我想改变spark.jars.ivySettings的顺序(首先是自定义仓库),但不知道文件的确切语法。一个简单的例子会有所帮助!

iugsix8n

iugsix8n1#

以下是在Maven Central之前配置GCS Maven Mirror的示例:

<ivysettings>
    <settings defaultResolver="chain"/>
    <resolvers>
    <chain name="chain">
            <ibiblio name="gcs" m2compatible="true" root="https://maven-central.storage-download.googleapis.com/maven2/" />
            <ibiblio name="central" m2compatible="true" root="https://repo1.maven.org/maven2/" />
        </chain>
    </resolvers>
</ivysettings>

字符串
我发现这个帖子很有用:Use public maven repository with ivy

相关问题