您可以使用 spark.read.text 然后使用一些正则表达式按逗号拆分值，但忽略引号（您可以看到这篇文章），然后从生成的数组中获取相应的列：

from pyspark.sql import functions as F
df = spark.read.text(file_path)
df = df.filter("value != 'FullName, FullLabel, Type'") \
    .withColumn(
    "value",
    F.split(F.col("value"), ',(?=(?:[^\"]*\"[^\"]*\")*[^\"]*$)')
).select(
    F.col("value")[0].alias("FullName"),
    F.col("value")[1].alias("FullLabel"),
    F.col("value")[2].alias("Type")
)
df.show(truncate=False)
# +----------+--------------------------------------------------+-----+
# |FullName  |FullLabel                                         |Type |
# +----------+--------------------------------------------------+-----+
# |TEST.slice| "Consideration":"Verde (Spar Verde, Fonte Verde)"| Test|
# +----------+--------------------------------------------------+-----+

更新：
对于中的输入文件 utf-16 ，可以替换 spark.read.text 通过将文件加载为 binaryFiles 然后将结果rdd转换为Dataframe：

df = sc.binaryFiles(file_path) \
    .flatMap(lambda x: [[l] for l in x[1].decode("utf-16").split("\n")]) \
    .toDF(["value"])

下面是另一个选项（如果您觉得简单）：
首先将文本文件读取为rdd并替换 ":" 与 ~:~ 并保存文本文件。

sc.textFile(file_path).map(lambda x: x.replace('":"','~:~')).saveAsTextFile(tempPath)

接下来，读取临时路径并替换 ~:~ 与 ":" 再说一次，但这次是作为一个df。

from pyspark.sql import functions as F
spark.read.option('header','true').csv(tempPath).withColumn('FullLabel',F.regexp_replace(F.col('FullLabel'),'~:~','":"')).show(1, False)
+----------+-----------------------------------------------+----+
|FullName  |FullLabel                                      |Type|
+----------+-----------------------------------------------+----+
|TEST.slice|Consideration":"Verde (Spar Verde, Fonte Verde)|Test|
+----------+-----------------------------------------------+----+