在PySpark时间组件中添加前导零

slmsl1lt  于 2022-11-01  发布在  Spark
关注(0)|答案(1)|浏览(149)

我有一个函数可以写入按日期和时间划分的数据

df = df.withColumn("year", F.year(col(date_column))) \
    .withColumn("month", F.month(col(date_column))) \
    .withColumn("day", F.dayofmonth(col(date_column))) \
    .withColumn("hour", F.hour(col(date_column))) 

df.write.partitionBy("year","month","day","hour").mode("append").format("csv").save(destination)

输出被写入month=9,我如何使它像month=09一样,几个小时都是这样,例如hour=04

bvpmtnay

bvpmtnay1#

你可以试试

.withColumn("month", F.date_format(col(date_column), "MM")))

.withColumn("hour", F.date_format(col(date_column), "HH"))

相关问题