convert spark dataframe column nullability to false而不转换为rdd

byqmnocz  于 2021-05-29  发布在  Spark
关注(0)|答案(0)|浏览(347)

我有一个列为null的Dataframe。想在pyspark中转换为false。
我可以用下面的方法做。但我不想转换为rdd,因为我阅读的是结构化流媒体,不建议转换为rdd。

def set_df_columns_nullable(self, spark, df, column_list, nullable=True):
        for struct_field in df.schema:
            if struct_field.name in column_list:
                struct_field.nullable = nullable
        df_mod = spark.createDataFrame(df.rdd, df.schema)
        return df_mod

提前谢谢

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题