我想从这个数组中删除条形码。
我的数据框看起来像下面给出的示例,
|-- variants: array (nullable = true)
| |-- element: struct (containsNull = true)
| | |-- admin_graphql_api_id: string (nullable = true)
| | |-- barcode: string (nullable = true)
| | |-- compare_at_price: string (nullable = true)
你能帮我用pyspark从Dataframe中删除元素吗。
1条答案
按热度按时间68de4m5k1#
您可以使用数组\u-zip:
印刷品
第二个
withColumn
需要设置新结构的字段名。arrays_zip
仅适用于spark版本>=2.4.0。如果您使用的是较旧的spark版本,则可以使用自定义项: