Windows上Spark 3.3.1的hadoop.dll文件位置

yiytaume  于 2022-12-03  发布在  Hadoop
关注(0)|答案(1)|浏览(300)

我想在Windows 10上运行Spark 3.3.1。这就是为什么我必须为Hadoop 3.3下载winutils.exe和hadoop.dll的原因。我必须将hadoop.dll保存在C:\Windows\System32中以避免此Spark错误:

  1. java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

我想知道是否有办法更改hadoop.dll路径,这样我就不需要管理员权限就可以在System32目录中保存文件。

ejk8hzay

ejk8hzay1#

这篇SO post讨论了一系列可能需要的东西:

  • 创建一个名为%HADOOP_HOME%的环境变量,指向您选择的目录。例如:%USERPROFILE%\hadoop
  • %HADOOP_HOME%中创建一个文件夹,名为bin
  • winutils.exehadoop.dll复制到该%HADOOP_HOME%/bin文件夹
  • %HADOOP_HOME%/bin添加到PATH环境变量中

相关问题