如何读取spark sql查询执行计划并将其保存到文本文件?

toiithl6  于 2021-05-26  发布在  Spark
关注(0)|答案(1)|浏览(570)

我想读取sparksql查询执行计划并将其保存到文本文件中,以便进一步分析逻辑和物理计划。我怎样才能以这样的方式来阅读它,从而可以将它保存到一个文件中。我正在使用df.explain()方法,但它只是将计划打印到cmd控制台。有没有办法把它存储在字符串中,或者直接保存到文本文件中,或者从控制台提取计划?

91zkwejq

91zkwejq1#

可以通过以下方式将执行计划存储到字符串:
如果你有 dataframe df :

df.queryExecution.toString()

对于逻辑计划:

df.queryExecution.logical.toString()

相关问题