在将week\u end\u date列的格式从string更改为date时,我将整列设置为null。
from pyspark.sql.functions import unix_timestamp, from_unixtime
df = spark.read.csv('dbfs:/location/abc.txt',
header=True)
df2 = df.select(
'week_end_date',
from_unixtime(unix_timestamp('week_end_date', 'MM-dd-yyyy')).alias('date')
).show()
print(df2)
1条答案
按热度按时间a0x5cqrl1#
您的日期格式不正确。应该是的
ddMMMyy
. 您也可以直接使用to_date
而不是unix时间戳函数。如果要将格式转换为
MM-dd-yyyy
,您可以使用date_format
: