使用PySpark在spark框架中删除嵌套结构中的列(文本中的详细信息)

bmp9r5qi 于 2024-01-06 发布在 Spark

关注(0)|答案(2)|浏览(248)

我知道我问过一个类似的问题here，但那是为了行过滤。这次我试图删除列。我试图实现高阶函数，如FILTER和其他一段时间，但无法让它工作。我想我需要的是SELECT高阶函数，但它似乎不存在。
我正在使用pyspark，我有一个嵌套对象df，这就是df.printSchema()的输出

root
 |-- M_MRN: string (nullable = true)
 |-- measurements: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- Observation_ID: string (nullable = true)
 |    |    |-- Observation_Name: string (nullable = true)
 |    |    |-- Observation_Result: string (nullable = true)

字符串
我想在“measurements”中只保留“Observation_ID”或“Observation_Result”列。

[Row(measurements=[Row(Observation_ID='5', Observation_Name='ABC', Observation_Result='108/72'),
                   Row(Observation_ID='11', Observation_Name='ABC', Observation_Result='70'),
                   Row(Observation_ID='10', Observation_Name='ABC', Observation_Result='73.029'),
                   Row(Observation_ID='14', Observation_Name='XYZ', Observation_Result='23.1')]),
 Row(measurements=[Row(Observation_ID='2', Observation_Name='ZZZ', Observation_Result='3/4'),
                   Row(Observation_ID='5', Observation_Name='ABC', Observation_Result='7')])]

型
我想在我做了上面的过滤和运行df.select('measurements').take(2)我得到

[Row(measurements=[Row(Observation_ID='5', Observation_Result='108/72'),
                   Row(Observation_ID='11', Observation_Result='70'),
                   Row(Observation_ID='10', Observation_Result='73.029'),
                   Row(Observation_ID='14', Observation_Result='23.1')]),
 Row(measurements=[Row(Observation_ID='2', Observation_Result='3/4'),
                   Row(Observation_ID='5', Observation_Result='7')])]

型
在pyspark中有办法做到这一点吗？

pyspark

来源：https://stackoverflow.com/questions/61512873/removing-columns-in-a-nested-struct-in-a-spark-dataframe-using-pyspark-details

2条答案

按热度按时间

pkmbmrz71#

您可以使用**higher order function*transform到select您想要的字段，并将它们放在struct**中。

from pyspark.sql import functions as F
df.withColumn("measurements",F.expr("""transform(measurements\
,x-> struct(x.Observation_ID as Observation_ID,\
             x.Observation_Result as Observation_Result))""")).printSchema()
#root
 #|-- measurements: array (nullable = true)
 #|    |-- element: struct (containsNull = false)
 #|    |    |-- Observation_ID: string (nullable = true)
 #|    |    |-- Observation_Result: string (nullable = true)

字符串

赞(0）回复(0）举报 2024-01-06

hfwmuf9z2#

对于任何想寻找一个能与旧版pyspark兼容的答案的人来说，这里有一个使用udfs的答案：

import pyspark.sql.functions as f
from pyspark.sql.types import ArrayType, LongType, StringType, StructField, StructType
_measurement_type = ArrayType(StructType([
    StructField('Observation_ID', StringType(), True),
    StructField('Observation_Result', StringType(), True)
]))
@f.udf(returnType=_measurement_type)
def higher_order_select(measurements):
    return [(m.Observation_ID, m.Observation_Result) for m in measurements]
df.select(higher_order_select('measurements').alias('measurements')).printSchema()

字符串
指纹

root
 |-- measurements: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- Observation_ID: string (nullable = true)
 |    |    |-- Observation_Result: string (nullable = true)

型

展开查看全部

赞(0）回复(0）举报 2024-01-06

我来回答

使用PySpark在spark框架中删除嵌套结构中的列(文本中的详细信息)

2条答案

相关问题

热门标签

最新问答