如何在Apache spark DataFrame中使用Java将unix epoch列转换为Date？

xzabzqsa 于 2023-06-20 发布在 Java

关注(0)|答案(3)|浏览(123)

我有一个json数据文件，其中包含一个属性[creationDate]，它是unix epoc的“long”数字类型。Apache Spark DataFrame schema如下所示：

root 
 |-- **creationDate**: long (nullable = true) 
 |-- id: long (nullable = true) 
 |-- postTypeId: long (nullable = true)
 |-- tags: array (nullable = true)
 |    |-- element: string (containsNull = true)
 |-- title: string (nullable = true)
 |-- viewCount: long (nullable = true)

我想做一些groupBy“creationData_Year”，需要从“creationDate”获取。
使用Java在 DataFrame 中进行这种转换的最简单方法是什么？

Java

来源：https://stackoverflow.com/questions/34626371/how-do-i-convert-column-of-unix-epoch-to-date-in-apache-spark-dataframe-using-ja

3条答案

按热度按时间

lndjwyie1#

在检查了spark dataframe API和sql函数后，我得出了下面的片段：

DateFrame df = sqlContext.read().json("MY_JSON_DATA_FILE");

DataFrame df_DateConverted = df.withColumn("creationDt", from_unixtime(df.col("creationDate").divide(1000)));

“creationDate”列除以“1000”的原因是TimeUnit不同。orgin“creationDate”是以“milli-second"为单位的unix epoch，然而spark sql“from_unixtime”被设计为以“second"为单位处理unix epoch。

赞(0）回复(0）举报 2023-06-20

ftf50wuq2#

pyspark将Unix epoch毫秒转换为dataframe时间戳

df.select(from_unixtime((df.my_date_column.cast('bigint')/1000)).cast('timestamp').alias('my_date_column'))

赞(0）回复(0）举报 2023-06-20

snz8szmq3#

在Spark Scala中

spark.sql("select from_unixtime(1593543333062/1000) as ts").show(false)

赞(0）回复(0）举报 2023-06-20

我来回答

如何在Apache spark DataFrame中使用Java将unix epoch列转换为Date？

3条答案

相关问题

热门标签

最新问答