不能使用pyspark pickle listreverseiterator对象

csbfibhn  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(488)

我对Python很陌生。以下代码有一些序列化问题:

from pyspark.mllib.stat import Statistics
import random
data = sc.parallelize([range(100),range(100),random.sample(range(100),100),reversed(range(100))])
print(Statistics.corr(data))

我得到:
typeerror:无法pickle listreverseiterator对象
所以“reversed”似乎创建了一个不可序列化的对象—知道如何处理这个问题吗?
谢谢!

ulmd4ohb

ulmd4ohb1#

替换:

reversed(range(100))

具有

list(reversed(range(100)))

相关问题