我想在Windows 10上运行Spark 3.3.1。这就是为什么我必须为Hadoop 3.3下载winutils.exe和hadoop.dll的原因。我必须将hadoop.dll保存在C:\Windows\System32
中以避免此Spark错误:
java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
我想知道是否有办法更改hadoop.dll路径,这样我就不需要管理员权限就可以在System32目录中保存文件。
1条答案
按热度按时间ejk8hzay1#
这篇SO post讨论了一系列可能需要的东西:
%HADOOP_HOME%
的环境变量,指向您选择的目录。例如:%USERPROFILE%\hadoop
%HADOOP_HOME%
中创建一个文件夹,名为bin
。winutils.exe
和hadoop.dll
复制到该%HADOOP_HOME%/bin
文件夹%HADOOP_HOME%/bin
添加到PATH
环境变量中