如何过滤Dataframe，从而在pyspark中向特定条件返回true或false？

g0czyy6m 于 2021-07-13 发布在 Spark

关注(0)|答案(1)|浏览(307)

我想创建一个Dataframe，返回false或true到一个特定的条件，它将取代内置函数 .all 在Pandas身上。我提供了一个预期的结果。提前谢谢！

schema = StructType([
StructField( 'vin', StringType(), True),StructField( 'age', IntegerType(), True),StructField( 'var', IntegerType(), True),StructField( 'rim', IntegerType(), True),StructField( 'cap', IntegerType(), True),StructField( 'cur', IntegerType(), True)
  ])

data = [['tom', 10,54,87,23,90], ['nick', 15,63,23,11,65], ['juli', 14,87,9,43,21]]

df=spark.createDataFrame(data,schema)

df.show()
>>>
+----+---+---+---+---+---+
| vin|age|var|rim|cap|cur|
+----+---+---+---+---+---+
| tom| 10| 54| 87| 23| 90|
|nick| 15| 63| 23| 11| 65|
|juli| 14| 87|  9| 43| 21|
+----+---+---+---+---+---+

col_2=['age','var','rim']

df=df.select(*col_2)
df.show()
>>>
+---+---+---+
|age|var|rim|
+---+---+---+
| 10| 54| 87|
| 15| 63| 23|
| 14| 87|  9|
+---+---+---+

df=df.filter(F.col(*col_2) ==10)

# Expected outcome:

>>>
+---===+------+------+
|age   |var   |rim   |
+------+------+------+
| True | False| False|
| False| False| False|
| False| False| False|
+------+------+------+

python DataFrame apache-spark pyspark apache-spark-sql

来源：https://stackoverflow.com/questions/66247338/how-to-filter-a-dataframe-in-such-a-way-to-return-a-true-or-false-to-a-certain-c

1条答案

按热度按时间

zour9fqk1#

您可以对每列进行比较，然后选择所有列。 filter 不需要。

import pyspark.sql.functions as F

df2 = df.select([(F.col(c) == 10).alias(c) for c in col_2])

df2.show()
+-----+-----+-----+
|  age|  var|  rim|
+-----+-----+-----+
| true|false|false|
|false|false|false|
|false|false|false|
+-----+-----+-----+

赞(0）回复(0）举报 2021-07-13

我来回答

如何过滤Dataframe，从而在pyspark中向特定条件返回true或false？

1条答案

相关问题

热门标签

最新问答