pyspark hyperopt -在Spark环境(数据块)上并行调优超参数时,在hyperopt上使用SparkTrials的问题

6rqinv9w  于 2022-11-01  发布在  Spark
关注(0)|答案(1)|浏览(126)

在调优超参数时,我试图使用hyperopt的sparkTrials函数更快地并行调优它们,但错误继续出现。
错误如下,推测与Spark环境有关,我无法判断具体是什么错误。
错误是...

Broadcast variable {} not loaded !

我指的是the Notebook provided by databricks,其中“步骤4:Train the Model“,即使是相同的代码,在我的数据库环境中仍然会出现错误。
我应该如何编辑我的代码?

xqnpmsa8

xqnpmsa81#

在中运行synapse notbooka pyspark节点时遇到相同的问题。

相关问题