我使用hive2.3.7和spark-2.0.0作为执行引擎。我想知道如何打印物理计划,以查看caclcite选择在查询上执行哪个连接算法。
xwmevbvl1#
你可以用 explain .在Pypark中:
explain
df = df1.join(df2, 'id') df.explain()
在spark sql/hive ql中:
EXPLAIN SELECT * FROM table1 JOIN table2 ON table1.id = table2.id;
有关详细信息,请参阅http://spark.apache.org/docs/latest/sql-ref-syntax-qry-explain.htmlhttps://cwiki.apache.org/confluence/display/hive/languagemanual+explain
1条答案
按热度按时间xwmevbvl1#
你可以用
explain
.在Pypark中:
在spark sql/hive ql中:
有关详细信息,请参阅
http://spark.apache.org/docs/latest/sql-ref-syntax-qry-explain.html
https://cwiki.apache.org/confluence/display/hive/languagemanual+explain