在pyspark中将日期转换为所需格式

lsmepo6l 于 2021-05-27 发布在 Spark

关注(0)|答案(2)|浏览(474)

这个问题在这里已经有答案了：

将pyspark字符串转换为日期格式（6个答案）
4个月前关门了。
我有如下Dataframe和使用PySpark2.4

Name    doj
kevin   08/15/2013
George  06/21/2014
df.printSchema()
 -- Name (String)
 -- dob (String)

我想将doj转换为yyyy-mm-dd格式，并确保我需要使用pyspark将doj转换为datetype而不是string。是否有任何特定的函数可用？我很感激你的回答

python apache-spark pyspark apache-spark-sql

来源：https://stackoverflow.com/questions/63820323/convert-date-into-desired-format-in-pyspark

2条答案

按热度按时间

nvbavucw1#

使用 to_date() 功能。

df.show()
# +------+----------+
# |  Name|       doj|
# +------+----------+
# | Kevin|08/15/2013|
# |George|06/21/2014|
# +------+----------+
from pyspark.sql.functions import *
df.withColumn("doj",to_date(col("doj"),'MM/dd/yyyy')).show()
# +------+----------+
# |  Name|       doj|
# +------+----------+
# | Kevin|2013-08-15|
# |George|2014-06-21|
# +------+----------+
df.withColumn("doj",to_date(col("doj"),'MM/dd/yyyy')).printSchema()
# root
# |-- Name: string (nullable = true)
# |-- doj: date (nullable = true)

展开查看全部

赞(0）回复(0）举报 2021-05-27

ecfsfe2w2#

def dateconv(x):
        if x == None:
            x = 'null'
            return x
        else:
            return x.strftime('%Y-%M-%D')
dateconv(doj)

类似于python，我做了这个

赞(0）回复(0）举报 2021-05-27

我来回答

在pyspark中将日期转换为所需格式

2条答案

相关问题

热门标签

最新问答