我创建了一个dataframe如下:-
给定数据框架的架构如下:-
我想替换DateType字段“customer_from”中的空值。但下面的查询不起作用
df.na.fill({"customer_from":date.now()}).show()
其中,na.fill适用于其他类型列,如“amount_type”,即a DoubleType列。
为什么na.fill不适用于DateType列,而适用于spark中的其他列类型?
我创建了一个dataframe如下:-
给定数据框架的架构如下:-
我想替换DateType字段“customer_from”中的空值。但下面的查询不起作用
df.na.fill({"customer_from":date.now()}).show()
其中,na.fill适用于其他类型列,如“amount_type”,即a DoubleType列。
为什么na.fill不适用于DateType列,而适用于spark中的其他列类型?
1条答案
按热度按时间4nkexdtk1#
检查API Reference,据说
na.fill
只接受int,float,boolean和string作为替换类型。我不知道为什么它不接受其他类型,但你可以使用
when
函数来代替:作为
DEFAULT_DATE
您要用来替换空值的日期。