我正在编写一个本质上是迭代的算法的PySpark实现。该算法的一部分涉及迭代策略，直到不能进行更多的改进（即，已经贪婪地达到局部最大值）。
函数optimize返回一个三列 Dataframe ，如下所示：
| id|电流值|最佳值|
| - -----|- -----|- -----|
| 0| 1| 1|
| 1| 0| 1|
该函数在while循环中使用，直到current_value和best_value相同（这意味着不能再进行优化）。

# Init while loop
iterate = True

# Start iterating until optimization yields same result as before
while iterate:

    # Create (or overwrite) `df`
    df = optimizeAll(df2) # Uses `df2` as input
    df.persist().count()

    # Check stopping condition
    iterate = df.where('current_value != best_value').count() > 0

    # Update `df2` with latest results
    if iterate:
        df2 = df2.join(other=df, on='id', how='left') # <- Should I persist this?

当我手动将输入传递给它时，这个函数运行得非常快。然而，我注意到函数运行所需的时间随着迭代次数的增加而呈指数级增长。也就是说，第一次迭代以毫秒为单位运行，第二次迭代以秒为单位运行，最终每次运行需要10分钟。
This question建议，如果df没有缓存，则while循环将在每次迭代时从头开始运行。这是真的吗？
如果是这样，我应该持久化哪些对象？我知道在定义iterate时，持久化df将由count触发。但是，df2没有动作，所以即使我坚持它，它会不会使while循环每次都从头开始？同样，我是否应该在循环中的某个点取消持久化任一表？