即使我有足够的资源也不能提交工作

afdcj2ne  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(245)

当我试图通过spark submit将作业提交到集群时,我有几个工人,每个工人有10g和2个内核,我得到:
初始作业未接受任何资源;检查集群ui以确保worker已注册并且具有足够的资源
我试图提交一个简单的工作,其中计数行的一个小文件。

./bin/spark-submit \
--class myclass \
--master spark://ip:7077 \
myjar.jar

到目前为止,我已经尝试显式地指定资源,并使用--conf spark.dynamicallocation.enabled=false(这里建议这样做),我尝试在本地模式(local[*])下运行它,这可以工作,我尝试升级不工作的集群。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题