spark错误地将整数转换为`struct< int:int,long:bigint>`

zazmityj  于 2021-07-14  发布在  Spark
关注(0)|答案(0)|浏览(285)

在一个有Spark的工作中,我用

.withColumn("year", year(to_timestamp(lit(col("timestamp")))))

这个代码以前是有用的。但现在我得到了一个错误:

"cannot resolve 'CAST(`timestamp` AS TIMESTAMP)' due to data type mismatch: cannot cast struct<int:int,long:bigint> to timestamp;"

我看起来像是spark在读我的时间戳栏 struct<int:int,long:bigint> 而不是 int 我该怎么防止呢?
上下文初始数据在jsonline中。我是用胶水读的 glueContext.create_dynamic_frame.from_catalog . 在glue目录中输入timestamp列 int .

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题