在Windows Server 2022上安装Apache Spark

ej83mcc0  于 2023-08-06  发布在  Apache
关注(0)|答案(1)|浏览(165)

环境信息:
操作系统:Microsoft Windows Server 2022
Spark版本:版本3.4.0
Hadoop版本:3.3.1
我安装了Hadoop,并通过执行基本命令确认它正在工作:hdfs dfs -put hi. txt/,hdfs dfs -get/hi.txt.另外,hdfs dfsadmin -report没有显示错误。

错误1

当我尝试运行sparki benchmark时,我得到了下面的错误:ContainerExecutor:退出代码:-1073741515
Googling:此错误表示缺少DLL
由于以下错误,我甚至无法寻求进一步的信息:

错误2java.io.FileNotFoundException:文件C:/$应用程序日志路径$/prelaunch.err不存在。
采取的步骤我根据一些在线帖子的建议下载了C++可再发行版本,因为它可能会添加缺少的DLL依赖项。

km0tfn4u

km0tfn4u1#

我能解决这个问题。
启动Apache Spark容器的可执行文件是winutils.exe。由于某些原因,可能包括缺少配置或缺少我应该设置的环境变量,此可执行文件未在C:\Windows\System32及其子目录中查找DLL。
进程监视器,一个惊人的工具,有助于调试此类错误。您将看到请求的DLL和路径。
我把所有的C:\Windows\System32 dll和其他DLL都复制到hadoop/bin中。

相关问题