pyspark:如何获取sparkDataframe的spark sqlcontext?

c86crjj0  于 2021-05-27  发布在  Spark
关注(0)|答案(2)|浏览(603)

我有一个接受sparkDataframe的函数,我想获得Dataframe所在的spark上下文。
原因是我想得到 SQLContext 所以我可以运行一些sql查询

sql_Context = SQLContext(output_df.sparkContext())
sql_Context.registerDataFrameAsTable(output_df, "table1")
sql_Context.sql("select * from table1") # or some more complicated query

但是当然 output_df.sparkContext() 不起作用。获取sparkDataframe的sparkcontext的正确方法是什么?

ntjbwcob

ntjbwcob1#

output_df.rdd.context 做这个工作

bn31dyow

bn31dyow2#

output_df.sql_ctx 答案是什么

相关问题