spark错误:下载资源时出错:ssl connect错误

jk9hmnmh  于 2021-06-26  发布在  Mesos
关注(0)|答案(1)|浏览(323)

我正在尝试在mesos的spark群集设置上运行作业。如果我将jar复制到服务器,然后使用 file: url,但我无法让spark使用 https: . 每次我在stderr文件中得到下面的错误。

I0226 00:11:05.618361 22652 logging.cpp:172] INFO level logging started!
I0226 00:11:05.618552 22652 fetcher.cpp:409] Fetcher Info: ...
I0226 00:11:05.619721 22652 fetcher.cpp:364] Fetching URI 'https://jenkins.company.com/nexus/...
I0226 00:11:05.619738 22652 fetcher.cpp:238] Fetching directly into the sandbox directory
I0226 00:11:05.619751 22652 fetcher.cpp:176] Fetching URI 'https://jenkins.company.com/nexus/...
I0226 00:11:05.619762 22652 fetcher.cpp:126] Downloading resource from 'https://jenkins.company.com/nexus/...
Failed to fetch 'https://jenkins.company.com/nexus/... ': Error downloading resource: SSL connect error
Failed to synchronize with slave (it's probably exited)

我可以使用 wget 从指定的url下载jar。我还验证了服务器上的jdk是否具有nexus服务器的正确证书,我正试图从该服务器下载jar。
我是新的Spark和mesos和任何帮助解决这个问题将不胜感激。

xtfmy6hx

xtfmy6hx1#

您是否使用 --repository 应用程序启动时的标志?
我个人从未将加密与spark一起使用,但从文档来看,在spark中配置它似乎是可能的/必要的。我想仅仅为了SDK是不够的。
看见
http://spark.apache.org/docs/latest/submitting-applications.html#advanced-依赖关系管理
http://spark.apache.org/docs/latest/configuration.html#encryption

相关问题