类似的问题被问了好几次,也被回答了好几次。例如:如何在pyspark中自动删除常量列?
但我发现,没有一个答案能解决这个问题 countDistinct()
不将空值视为不同的值。因此,只有两个结果null和一个none null值的列也将被删除。
一个丑陋的解决方案是将sparkDataframe中的所有空值替换为Dataframe中其他地方不存在的值。但就像我说的那样那真的很难看。
类似的问题被问了好几次,也被回答了好几次。例如:如何在pyspark中自动删除常量列?
但我发现,没有一个答案能解决这个问题 countDistinct()
不将空值视为不同的值。因此,只有两个结果null和一个none null值的列也将被删除。
一个丑陋的解决方案是将sparkDataframe中的所有空值替换为Dataframe中其他地方不存在的值。但就像我说的那样那真的很难看。
1条答案
按热度按时间o2rvlv0m1#
你可以在
countDistinct
,一个取决于列中是否有空值的整数0或1: