ENV详细信息：
数据处理群集边缘节点-使用数据处理群集的主节点映像创建。正在尝试启动提交：例如：- ------------------------------------------------------------------------------------------执行程序核心4 --名称--类--属性文件/数据/应用程序/XXXXX_配置/配置文件名--jar/数据/应用程序/<custom-jar.jar>
获取错误：
不存在读取“main”java.io。文件未找到异常：文件文件：位于org.apache.hadoop.fs.原始本地文件系统。已弃用获取文件状态（原始本地文件系统. java：634）位于org.apache.hadoop.fs.原始本地文件系统。获取文件链接状态内部（原始本地文件系统. java：860）
通过shell脚本执行saprksubmit- shell脚本正在创建spark-submit，手动运行正常，没有任何问题。当通过shell脚本运行时，路径和jar文件出现问题。
有什么建议吗谢谢，
1条答案
按热度按时间jtoj6r0c1#
您收到的错误：
<file> does not exist at read "main" java.io.FileNotFoundException: File file: at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:634) at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:860)这是因为在执行spark代码的节点上找不到您要访问的文件。任何应该可以访问的文件都应该使用--files标志传入。这会将该文件分发到每个工作节点。