spark3.0时间戳解析在传递格式后永远无法工作

lvjbypge  于 2021-05-19  发布在  Spark
关注(0)|答案(1)|浏览(451)

这是我在spark 3.0中遇到的一个问题,以前的工作甚至没有指定格式。
现在,我尝试显式指定格式,但仍然不起作用。这里是输入格式,

这是我写的代码,

很明显,格式“mm/dd/yyyy hh:mm”应该有用,但事实并非如此。
所以我一定对这里的一些事情一无所知。

wbrvyc0a

wbrvyc0a1#

这是不正确的,因为spark 3.0在那里对日期时间格式进行了重大更改。
下面是一个工作示例:

val df = Seq("12/21/2018 15:17").toDF("a")
df.select(to_timestamp($"a", "M/d/yyyy H:mm")).show()

注意大写字母h?代表0-23小时
小写字母h代表1-12
参考文献:https://spark.apache.org/docs/latest/sql-ref-datetime-pattern.html

相关问题