regex模式从pyspark中的单词中删除数值

z5btuh9x 于 2021-07-09 发布在 Spark

关注(0)|答案(1)|浏览(267)

我正在处理pysparkDataframe，我有一列
words (array<string> type) . 要从单词中删除数值和数字值，regex模式应该是什么？

+---+----------------------------------------------+
|id |    words                                     |
+---+----------------------------------------------+
|564|[fhbgtrj5, 345gjhg, ghth578ghu, 5897, fhrfu44]|
+---+----------------------------------------------+

预期产量：

+---+----------------------------------------------+
|id |words                                         |
+---+----------------------------------------------+
|564|               [fhbgtrj, gjhg, ghthghu, fhrfu]|
+---+----------------------------------------------+

请帮忙。

python apache-spark pyspark apache-spark-sql

来源：https://stackoverflow.com/questions/66808400/regex-pattern-to-remove-numeric-value-from-words-in-pyspark

1条答案

按热度按时间

xv8emn3q1#

你可以用 transform 一起 regexp_replace 删除数字，并使用 array_remove 删除空条目（来自只包含数字的条目）。

df2 = df.withColumn(
    'words', 
    F.expr("array_remove(transform(words, x -> regexp_replace(x, '[0-9]', '')), '') as words")
)

df2.show(truncate=False)
+---+-------------------------------+
|id |words                          |
+---+-------------------------------+
|564|[fhbgtrj, gjhg, ghthghu, fhrfu]|
+---+-------------------------------+

赞(0）回复(0）举报 2021-07-09

我来回答

regex模式从pyspark中的单词中删除数值

1条答案

相关问题

热门标签

最新问答