我正在创建配置单元上下文并查询配置单元表,如下所示,spark上下文是使用yarn cluster创建的
HiveContext hv = new HiveContext(sc) hv.sql("use schema") val df = hv.sql(query)
但是,它返回一个空的Dataframe。但是,如果我直接在配置单元环境中运行查询,它将返回有效值。有什么问题吗
p1tboqfb1#
spark中的一个Dataframe通常可以看作是一个用来检索/计算数据的Map,只有在需要数据时才会被具体化。为了获取数据,可以使用df.collect()
1条答案
按热度按时间p1tboqfb1#
spark中的一个Dataframe通常可以看作是一个用来检索/计算数据的Map,只有在需要数据时才会被具体化。为了获取数据,可以使用df.collect()