我们使用的是spark版本2.3.2，我想在yarn集群上使用spark的动态资源分配。使用动态资源分配的先决条件是在集群中的所有执行器/节点上启用shuffle服务。
我没有访问群集中所有节点的权限，因此无法在yarn-site.xml文件中检查节点中与shuffle相关的参数。
我不确定我的方法是否朝着正确的方向发展，如下所示，但请告诉我最好的方法来确定是否在我的集群上启用了外部随机播放服务。
我试着在启用动态配置的情况下运行sparkshell spark.dynamicAllocation.enabled 以及启用 spark.shuffle.service.enabled 但当我打印出所有sparkconf属性及其值时，它并没有打印键 spark.dynamicAllocation.enabled 以及 spark.shuffle.service.enabled . 这使我认为，洗牌服务可能无法启用，这就是为什么我没有看到这些属性。
我试着看着 yarn-site.xml 文件，以查看属性 yarn.nodemanager.aux-services 设置为 spark_shuffle 以及 yarn.nodemanager.aux-services.spark_shuffle.class 至 org.apache.spark.network.yarn.YarnShuffleService 但是我在xml文件中没有看到这些属性。所以我认为在我们的集群中可能没有启用shuffle服务。