python—可以在pyspark中强制转换 Dataframe 的多列吗？

czfnxgou 于 2021-09-08 发布在 Java

关注(0)|答案(1)|浏览(367)

我有一个多列pyspark Dataframe ，我需要将字符串类型转换为正确的类型，例如：
我现在就是这样做的

df = df.withColumn(col_name, col(col_name).cast('float') \
.withColumn(col_id, col(col_id).cast('int') \
.withColumn(col_city, col(col_city).cast('string') \
.withColumn(col_date, col(col_date).cast('date') \
.withColumn(col_code, col(col_code).cast('bigint')

是否可以创建一个包含类型的列表，并立即将其传递给所有列？

python apache-spark pyspark apache-spark-sql

来源：https://stackoverflow.com/questions/68322664/is-it-possible-to-cast-multiple-columns-of-a-dataframe-in-pyspark

1条答案

按热度按时间

kmynzznz1#

您只需要有一些Map作为字典或类似的东西，然后生成正确的 select 语句（您可以使用 withColumn ，但通常会导致性能问题）。大概是这样的：

import pyspark.sql.functions as F
mapping = {'col1':'float', ....}
df = .... # your input data
rest_cols = [F.col(cl) for cl in df.columns if cl not in mapping]
conv_cols = [F.col(cl_name).cast(cl_type).alias(cl_name) 
   for cl_name, cl_type in mapping.items())
   if cl_name in df.columns]
conv_df.select(*rest_cols, *conv_cols)

赞(0）回复(0）举报 2021-09-08

我来回答

python—可以在pyspark中强制转换 Dataframe 的多列吗？

1条答案

相关问题

热门标签

最新问答