环境:spark 1.6,scala
我试图从dataframe中获取一个datetime字段,以便在sparksql中进行比较。
val las_max_date_from_hive= hivecontext.sql("select min(SampleTime) max_SampleTime from mytable")
DF2 = hivecontext.sql ("select * from table2 where sampleDate >" + las_max_date_from_hive) // error here as las_max_date_from_hive is a DF
如何从dataframe中获取datetime并在sql中使用?
谢谢
侯赛因
1条答案
按热度按时间rmbxnbpk1#
很简单-
sql
返回dataframe,但您确定它只有一个元素,因此可以执行以下操作:如果不想解析timestamp对象,那么可以使用
from_unixtime
功能和getTime()
: