设置spark.network.crypto.enabled=true后无法访问spark主机

6yoyoihd  于 2021-05-26  发布在  Spark
关注(0)|答案(0)|浏览(290)

通过对apachespark的实验,我建立了一个独立的spark集群,其中有10个节点,每个节点都可以相互访问。我运行了一些pyspark脚本进行本地计算,并尝试了spark submit进行多节点执行。之后,我想看看如何使用spark submit设置安全特性。我很难通过设置 spark.authenenticate 以及 spark.authenticate.secret 在集群中每个节点的spark-defaults.conf文件中。但在那之后 spark.network.crypto.enabled 属性,spark作业崩溃,错误为:
“StandalonesSchedulerBackend:应用程序已被终止。原因:所有的主人都没有React!“放弃吧。”
有没有人能帮我解决这个问题,让spark使用这个属性集,这样我就可以尝试系统如何在节点之间的rpc通信中不仅使用身份验证,还使用加密?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题