Pyspark使用列中的正则表达式删除URL的部分内容

bvhaajcl 于 2023-10-15 发布在 Spark

关注(0)|答案(1)|浏览(142)

我想在pyspark得到这个结果。我有请求URL列

pyspark

来源：https://stackoverflow.com/questions/76902219/pyspark-remove-parts-of-url-using-regex-in-column

1条答案

按热度按时间

tyu7yeag1#

您可以执行两次，并获得所需的结果

from pyspark.sql.functions import F

df = df.withColumn(
            "full_url", F.regexp_extract(F.col("request_url"), "^GET ([^? ]*)", 1)
        )

df = df.withColumn(
            "short_url", F.regexp_extract(F.col("request_url"), "^GET ([^.]*)[.]", 1)
        )

赞(0）回复(0）举报 2023-10-15

我来回答

Pyspark使用列中的正则表达式删除URL的部分内容

1条答案

相关问题

热门标签

最新问答