作为一个简单的例子,我尝试使用以下代码过滤Spark DataFrame:
val xdf = sqlContext.createDataFrame(Seq(
("A", 1), ("B", 2), ("C", 3)
)).toDF("name", "cnt")
xdf.filter($"cnt" >1 || $"name" isin ("A","B")).show()
字符串
然后它会出错:
org.apache.spark.sql.AnalysisException: cannot resolve '((cnt > 1) || name)' due to data type mismatch: differing types in '((cnt > 1) || name)' (boolean and string).;
型
正确的方法是什么?在我看来,它在name
列之后停止阅读。是解析器中的bug吗?我使用Spark 1.5.1
3条答案
按热度按时间jckbn6z71#
字符串
jv2fixgn2#
您必须将各个表达式括起来:
字符串
vh0rcniy3#
我们现在也可以使用isInCollection(从2.4.0版开始提供)链接到文档
代码如下所示
字符串