我的rdd结构如下：

my_rdd = [Row(text='Hello World. This is bad.'), Row(text='This is good.'), ...]

我可以用python函数执行并行处理：

rdd2=my_rdd.map(lambda f: f.text.split()) 
for x in rdd2.collect():
  print(x)

它给了我预期的结果。
但是，当我尝试使用spark nlp语句生成器或情感分析器时，出现了一个错误：picklingerror:could not serialize object:typeerror:can't pickle\u thread.rlock objects
在这行中：对于rdd2.collect（）中的x：
代码如下：

documenter = DocumentAssembler()\
    .setInputCol("text")\
    .setOutputCol("document")

sentencerDL = SentenceDetectorDLModel\
  .pretrained("sentence_detector_dl", "en") \
  .setInputCols(["document"]) \
  .setOutputCol("sentences")

sd_pipeline = PipelineModel(stages=[documenter, sentencerDL]) 
sd_model = LightPipeline(sd_pipeline)
pipeline = PretrainedPipeline('analyze_sentiment', 'en')

如果我尝试：

rdd2=my_rdd.map(lambda f: pipeline.annotate(f.text))

或

rdd2=my_rdd.map(lambda f: sd_model.fullAnnotate(f.text)[0]["sentences"].split()[0])

出现错误。当我在没有“Map”的情况下运行它们时，它们按预期运行。
有没有人知道如何并行执行spark nlp破句器或情绪分析器？我做错了什么？
谢谢大家！