我有一个列为null的Dataframe。想在pyspark中转换为false。
我可以用下面的方法做。但我不想转换为rdd,因为我阅读的是结构化流媒体,不建议转换为rdd。
def set_df_columns_nullable(self, spark, df, column_list, nullable=True):
for struct_field in df.schema:
if struct_field.name in column_list:
struct_field.nullable = nullable
df_mod = spark.createDataFrame(df.rdd, df.schema)
return df_mod
提前谢谢
暂无答案!
目前还没有任何答案,快来回答吧!