当我试图通过spark submit将作业提交到集群时,我有几个工人,每个工人有10g和2个内核,我得到:
初始作业未接受任何资源;检查集群ui以确保worker已注册并且具有足够的资源
我试图提交一个简单的工作,其中计数行的一个小文件。
./bin/spark-submit \
--class myclass \
--master spark://ip:7077 \
myjar.jar
到目前为止,我已经尝试显式地指定资源,并使用--conf spark.dynamicallocation.enabled=false(这里建议这样做),我尝试在本地模式(local[*])下运行它,这可以工作,我尝试升级不工作的集群。
暂无答案!
目前还没有任何答案,快来回答吧!