这个问题在这里已经有答案了:
sparksql支持子查询吗(2个答案)
四年前关门了。
当我运行这个查询时,我得到了这种类型的错误
select * from raw_2 where ip NOT IN (select * from raw_1);
org.apache.spark.sql.analysisexception异常:
查询中不支持的语言功能:
select * from raw_2 where ip NOT IN (select * from raw_1)
TOK_QUERY 1, 0,24, 14
TOK_FROM 1, 4,6, 14
TOK_TABREF 1, 6,6, 14
TOK_TABNAME 1, 6,6, 14
raw_2 1, 6,6, 14
TOK_INSERT 0, -1,24, 0
TOK_DESTINATION 0, -1,-1, 0
TOK_DIR 0, -1,-1, 0
TOK_TMP_FILE 0, -1,-1, 0
TOK_SELECT 0, 0,2, 0
TOK_SELEXPR 0, 2,2, 0
TOK_ALLCOLREF 0, 2,2, 0
TOK_WHERE 1, 8,24, 29
NOT 1, 10,24, 29
TOK_SUBQUERY_EXPR 1, 14,10, 33
TOK_SUBQUERY_OP 1, 14,14, 33
IN 1, 14,14, 33
TOK_QUERY 1, 16,24, 51
TOK_FROM 1, 21,23, 51
TOK_TABREF 1, 23,23, 51
TOK_TABNAME 1, 23,23, 51
raw_1 1, 23,23, 51
TOK_INSERT 0, -1,19, 0
TOK_DESTINATION 0, -1,-1, 0
TOK_DIR 0, -1,-1, 0
TOK_TMP_FILE 0, -1,-1, 0
TOK_SELECT 0, 17,19, 0
TOK_SELEXPR 0, 19,19, 0
TOK_ALLCOLREF 0, 19,19, 0
TOK_TABLE_OR_COL 1, 10,10, 26
ip 1, 10,10, 26
scala.notimplementederror:没有astnode类型的解析规则:817,文本:
TOK_SUBQUERY_EXPR :
TOK_SUBQUERY_EXPR 1, 14,10, 33
TOK_SUBQUERY_OP 1, 14,14, 33
IN 1, 14,14, 33
TOK_QUERY 1, 16,24, 51
TOK_FROM 1, 21,23, 51
TOK_
1条答案
按热度按时间pu3pd22g1#
spark 2.0.0+:
因为2.0.0spark支持全范围的子查询。请参阅sparksql是否支持子查询?详情。
Spark<2.0.0
spark支持子查询吗?
一般来说是的。构造像
SELECT * FROM (SELECT * FROM foo WHERE bar = 1) as tmp
sparksql中完全有效的查询。从catalyst解析器源代码来看,它不支持
NOT IN
条款:仍然可以使用outer join后跟filter来获得相同的效果。