将spark作业提交到dataprock

sd2nnvve 于 2023-10-23 发布在 Apache

关注(0)|答案(1)|浏览(161)

当我将我的阴影对象提交到本地独立集群时，它工作正常。然而，当我将它提交到Dataproc集群时，我遇到错误“java.lang.NoClassDefFoundError”，即使该类存在于Maven依赖项中。
为什么会这样？

来源：https://stackoverflow.com/questions/77115390/submit-spark-job-to-dataproc

1条答案

按热度按时间

请尝试将JAR复制到GCS存储桶中，并在提交作业时将其包含在--jar参数中。

赞(0）回复(0）举报 2023-10-23

相关问题

热门标签

Java query python Node 开发语言 request Util 数据库 Table 后端算法 Logger Message Element Parser

最新问答

xxl-job 安全组扫描到执行器端口服务存在信息泄露漏洞
回答(1) 发布于 3个月前
xxl-job 不能和nacos兼容？
回答(3) 发布于 3个月前
xxl-job 任务执行完后无法结束，日志一直转圈
回答(3) 发布于 3个月前
xxl-job-admin页面上查看调度日志样式问题
回答(1) 发布于 3个月前
xxl-job 参数512字符限制能否去掉
回答(1) 发布于 3个月前