我有一个接受sparkDataframe的函数,我想获得Dataframe所在的spark上下文。
原因是我想得到 SQLContext
所以我可以运行一些sql查询
sql_Context = SQLContext(output_df.sparkContext())
sql_Context.registerDataFrameAsTable(output_df, "table1")
sql_Context.sql("select * from table1") # or some more complicated query
但是当然 output_df.sparkContext()
不起作用。获取sparkDataframe的sparkcontext的正确方法是什么?
2条答案
按热度按时间ntjbwcob1#
output_df.rdd.context
做这个工作bn31dyow2#
output_df.sql_ctx
答案是什么