我有这样一组代码,应该从不包含字符串的列列表中创建一个Dataframe。我试过了,但没用:
val exemple = hiveObj.sql("show tables in database").select("tableName")!==="ABC".collect()
k4aesqcs1#
尝试使用筛选器方法:
import org.apache.spark.sql.functions._ import spark.implicits._ val exemple = hiveObj.sql("your query here").filter($"columnToFilter" =!= "ABC").show
注:不等式算子 =!= 仅适用于spark 2.0.0+。如果您使用的是旧版本,则必须使用 !== . 你可以在这里看到文档。如果需要过滤多个列,可以这样做:
=!=
!==
.filter($"columnToFilter" =!= "ABC" and $"columnToFilter2" =!= "ABC")
3lxsmp7m2#
我的问题的另一个答案是:
val exemple1 = hiveObj.sql("show tables in database").filter(!$"tableName".contains("ABC")).show()
2条答案
按热度按时间k4aesqcs1#
尝试使用筛选器方法:
注:不等式算子
=!=
仅适用于spark 2.0.0+。如果您使用的是旧版本,则必须使用!==
. 你可以在这里看到文档。如果需要过滤多个列,可以这样做:
3lxsmp7m2#
我的问题的另一个答案是: