在spark中将dd-mmm-yyyy转换为dd\u-mm\u-yyyy

p5cysglq 于 2021-06-25 发布在 Hive

关注(0)|答案(1)|浏览(340)

我有一个包含日期列的文件，其值为 01-Feb-2019 , 01-02-2019 02:00:00 . 我得把这些转换成 DD_MM_YYYY 在spark中格式化。有什么建议吗？我在下面试过，但没成功

val r = dfCsvTS02.withColumn("create_dts", date_format($"create_dts", "dd-MM-yyyy hh:mm:ss"))

有没有可能，不管我们以什么方式得到日期，它都会转换成 dd-mm-yyyy

1条答案

简单使用函数 to_timestamp 转换日期和 date_format 格式化。像这样：

val r = dfCsvTS02.withColumn("create_dts", date_format(to_timestamp($"create_dts", "dd-MMM-yyyy").cast("date"), "dd-MM-yyyy"))