我正在尝试读取csv文件并将其附加到表中。它抛出的日期列 Timestamp format must be yyyy-mm-dd hh:mm:ss 例外。
我经历了几个解决方案，但没有一个对我有效。
我想用一个 udf 但它抛出了一个例外：
Schema for type java.util.Date is not supported以下是我尝试过的：
val dateFormat = new SimpleDateFormat("yyyy-mm-dd hh:mm:ss")
val toDate = udf[Date, String](dateFormat.parse(_))
val schema = StructType(Array(StructField("id", LongType, nullable=true), StructField("name", StringType, nullable=true), StructField("date_issued", TimestampType, nullable=true)))
var df = spark.read.schema(schema).csv("./data/test.csv")
var df2 = df.withColumn("date_issued", toDate(df("date_issued")))
df2.show()
df2.write.mode(SaveMode.Append).jdbc("jdbc:postgresql://localhost:5432/db", "card", connectionProperties)
1条答案
按热度按时间smdnsysy1#
问题是，需要将util date转换为sql date。
请尝试下面的代码。
然后将此函数转换为自定义项。