我的用例非常简单,我想重写hadoop发行版中的几个类,为此我创建了一个新的jar,我使用spark.jars属性从驱动程序序列化到工作节点。
为了确保我的新jar在workers类路径中优先,我想将它们添加到spark.executor.extraclasspath属性中。
但是,由于我正在用spark.jars序列化这些jar,它们在workers中的路径是动态的,并且包括app id和executor id- <some-work-dir>/<app-id>/<executor-id>
.
有办法吗?是否可以在app dir中添加一个dir作为类路径中的第一个?
使用spark 2.4.5独立客户端模式-docker。
p、 我知道可以选择将jar添加到workers映像中,然后将其添加到类路径中,但之后每次代码更改都必须不断更新映像。
1条答案
按热度按时间b4wnujal1#
您可以在spark submit上启用此选项:
spark.driver.userClassPathFirst=True
请查看spark提交选项文档