如何从pysparkDataframe中删除以2k开头的记录

fkvaft9z 于 2021-07-12 发布在 Spark

关注(0)|答案(2)|浏览(269)

我正在使用PySpark3.0.1。我想从列中删除行 group 在pysparkDataframedf中，记录以 2K .
我的样本数据看起来像

Name  Age Group
John   23  1L12
Rami   32  2K18
Pat    35  1P28

在删除之后，我的最后一个Dataframe应该是

Name  Age Group
John   23  1L12
Pat    35  1P28

apache-spark pyspark apache-spark-sql

来源：https://stackoverflow.com/questions/66469829/how-can-i-drop-record-from-pyspark-data-frame-starts-with-2k

2条答案

按热度按时间

ne5o7dgx1#

试着检查一下 startswith :

df2 = df.filter(~df.Group.startswith("2K"))

或使用 rlike / like :

df2 = df.filter(~df.Group.rlike("^2K"))
df2 = df.filter(~df.Group.like("2K%"))

赞(0）回复(0）举报 2021-07-12

7kjnsjlb2#

可以使用列方法进行筛选 startswith :

from pyspark.sql import functions as F

df1 = df.filter(~F.col("Group").startswith("2K"))

df1.show()

# +----+---+-----+

# |Name|Age|Group|

# +----+---+-----+

# |John| 23| 1L12|

# | Pat| 35| 1P28|

# +----+---+-----+

赞(0）回复(0）举报 2021-07-12

我来回答

如何从pysparkDataframe中删除以2k开头的记录

2条答案

相关问题

热门标签

最新问答