我正在尝试用 pyspark 图书馆。我创造了一个 SparkConf() 对象使用以下命令： conf = SparkConf().setAppName('test').setMaster(<spark-URL>) 当我运行脚本时，该行出现错误：
选择java\u选项：-xmx128m
选择java\u选项：-xmx128m
初始化vm初始堆大小设置为大于最大堆大小的值时出错。
我试图通过设置configuration属性来解决这个问题 spark.driver.memory 不同的价值观，但没有改变。
问题是什么？我如何解决？
谢谢
1条答案
按热度按时间gblwokeq1#
这是因为您将最大可用堆大小（128m）设置为大于初始堆大小错误。检查您在配置文件中传递或设置的\u java\u options参数。另外，请注意spark.driver.memory中的更改不会产生任何影响，因为worker实际上位于启动spark shell时启动的驱动程序jvm进程中，用于该进程的默认内存是512m。
当spark试图初始化一个等于512m的堆大小时，这会产生一个冲突，但是您设置的最大允许限制只有128m。
您可以通过--driver java options命令行选项或在默认属性文件中设置最小堆大小