我想让spark和aws好好玩。在windows环境中工作。
无论我尝试了哪些选项，都找不到natives3类。当前如果我使用： spark-shell --packages com.amazonaws:aws-java-sdk-s3:1.10.38,com.amazonaws:aws-java-sdk-core:1.10.38,org.apache.hadoop:hadoop-aws:2.7.1 作为我的命令，然后我会下载文件，可以使用s3，但它觉得黑客和下载他们的每一个领带是不理想的。
在另一个人的帮助下，我一直在尝试其他的选择，这会导致：
>spark-shell --driver-class-path=C:\Spark\hadoop\share\hadoop\common\lib\hadoop-aws-2.7.1.jar;C:\Spark\hadoop\share\hadoop\common\lib\aws-java-sdk-1.7.4.jar" --verbose复制不存在的文件时出错，我更改了temp的路径只是为了掩盖权限怀疑，但此错误仍然存在：
C:\java_1.7\jdk1.7.0_79\bin\java -cp "C:\Spark\hadoop\share\hadoop\common\lib\hadoop-aws-2.7.1.jar;C:\Spark\hadoop\share\hadoop\common\lib\aws-java-sdk-1.7.4.jar --verbose > c:\temp\spark-class-launcher-output-4879.txt;C:\Spark\bin\..\conf
Xms1g -Xmx1g "-XX:MaxPermSize=256m" org.apache.spark.deploy.SparkSubmit --conf "spark.driver.extraClassPath=C:\Spark\hadoop\share\hadoop\common\lib\hadoop-aws-2.7.1.jar;C:\Spark\hadoop\share\hadoop\common\lib\aws-java-sdk-1.7.4.jar --verbo
The system cannot find the file c:\temp\spark-class-launcher-output-4879.txt.
Could Not Find c:\temp\spark-class-launcher-output-4879.txt它被精确定位在 spark-class2.cmd 但我不知道如何解决它。
https://github.com/apache/spark/blob/master/bin/spark-class2.cmd#L59有人能解释一下吗？先谢谢你
2条答案
按热度按时间gijlo24d1#
引起我注意的一件事是错误中的驱动器号
c:\temp\spark-class-launcher-output-4879.txt。
这是一个小箱子。检查spark-class2.cmd的代码表明它读取%temp%变量。
你能跑吗
echo %temp%在windows命令行中查看设置了什么？如果设置为小写，则只需运行
set temp=C:\temp然后用driver类运行sparkshell。谢谢，
查尔斯。
zengzsys2#
我也曾有过这样的问题。后来我发现的问题是
JAVA_HOME路径配置错误。一旦我配置为确定路径，问题就解决了。此外，请尝试按照链接中提到的说明进行操作：https://jaceklaskowski.gitbooks.io/mastering-apache-spark/content/spark-tips-and-tricks-running-spark-windows.html