考虑到我必须从一个巨大的xml文件中获取4个节点的文本，我最终使用lambda和udf解决了这个问题。由于xml文件已经在一列中，并且是pysparkDataframe的一部分，所以我不想以文件的形式编写并再次解析整个xml。我还想避免使用xsd模式。实际的xml有多个名称空间和一些具有特定条件的节点。例子：

<ap:applicationproduct xmlns:xsi="http://www.example.com/2005/XMLSchema-instance" xmlns:ap="http://example.com/productinfo/1_6" xmlns:ct="http://example.com/commontypes/1_0" xmlns:dc="http://example.com/datacontent/1_0" xmlns:tp="http://aexample.com/prmvalue/1_0" ....." schemaVersion="..">
  <ap:ParameterInfo>
    <ap:Header>
      <ct:Version>1.0</ct:Version>
      <ct:Sender>ABC</ct:Sender>
      <ct:SenderVersion />
      <ct:SendTime>...</ct:SendTime>
    </ap:Header>
    <ap:ProductID>
      <ct:Model>
        <ct:Series>34AP</ct:Series>
        <ct:ModelNo>013780</ct:ModelNo>
     ..............
      ..............
   <ap:Object>
        <ap:Parameter schemaVersion="2.5" Code="DDA">
          <dc:Value>
            <tp:Blob>mbQAEAgBTgKQEBAX4KJJYABAIASL0AA==</tp:Blob>
          </dc:Value>
        </ap:Parameter>
.........
........

这里我需要从ct:modelno和tp:blob中提取值

from pyspark.sql.types import *
from pyspark.sql.functions import udf
import xml.etree.ElementTree as ET
# List of namespaces to be used:
ns = {'ap' : 'http://example.com/productinfo/1_6', 
'ct':'http://example.com/commontypes/1_0', 
'dc':'http://example.com/datacontent/1_0', 
'tp':'http://aexample.com/prmvalue/1_0' 
    }
parsed_model = (lambda x:    ET.fromstring(x).find('ap:ParameterInfo/ap:ProductID/ct:Model/ct:ModelNo', ns).text)
udf_model = udf(parsed_model)
parsed_model_df = df.withColumn('ModelNo', udf_Model('XMLMsg'))

对于具有blob值的节点，也可以编写类似的函数，但节点的路径为：“ap:parameterinfo/ap:object/ap:parameter[@code=“dda”]/dc:value/tp:blob”
这对我很有用，我能够在pyspark df中添加所需的值。不过，我们欢迎您提出任何建议，使之更好。谢谢您！