regex 在polars python中使用list或dict替换字符串中的子字符串

vfhzx4xs  于 2023-01-27  发布在  Python
关注(0)|答案(1)|浏览(141)

我目前正在做一个NLP模型,并且正在优化预处理步骤。因为我使用的是一个自定义函数,所以polars不能并行化操作。
我已经尝试了一些事情与极“replace_all”和一些“.when.then.otherwise”,但还没有找到一个解决方案。
在这种情况下,我正在做“扩张收缩”(例如,I 'm-〉I am)。
我目前使用的是:

# This is only a few example contractions that I use.
cList = {
    "i'm": "i am",
    "i've": "i have",
    "isn't": "is not"
}

c_re = re.compile("(%s)" % "|".join(cList.keys()))

def expandContractions(text, c_re=c_re):
    def replace(match):
        return cList[match.group(0)]

    return c_re.sub(replace, text)

df = pl.DataFrame({"Text": ["i'm i've, isn't"]})
df["Text"].apply(expandContractions)

产出

shape: (1, 1)
┌─────────────────────┐
│ Text                │
│ ---                 │
│ str                 │
╞═════════════════════╡
│ i am i have, is not │
└─────────────────────┘

但希望使用极坐标的全部性能优势,因为我处理的数据集相当大。
性能测试:

#This dict have 100+ key/value pairs in my test case
cList = {
    "i'm": "i am",
    "i've": "i have",
    "isn't": "is not"
}

def base_case(sr: pl.Series) -> pl.Series:
    c_re = re.compile("(%s)" % "|".join(cList.keys()))
    def expandContractions(text, c_re=c_re):
        def replace(match):
            return cList[match.group(0)]

        return c_re.sub(replace, text)

    sr = sr.apply(expandContractions)
    return sr

def loop_case(sr: pl.Series) -> pl.Series:

    for old, new in cList.items():
        sr = sr.str.replace_all(old, new, literal=True)

    return sr


def iter_case(sr: pl.Series) -> pl.Series:
    sr = functools.reduce(
        lambda res, x: getattr(getattr(res, "str"), "replace_all")(
            x[0], x[1], literal=True
        ),
        cList.items(),
        sr,
    )
    return sr

它们都返回相同的结果,下面是样本长度约为500个字符的约10,000个样本的15个循环的平均时间。

Base case: 16.112362766265868
Loop case: 7.028670716285705
Iter case: 7.112465214729309

所以使用这两种方法的速度都提高了一倍多,这主要归功于polars API调用“replace_all”。我最终使用了循环用例,因为这样我就少了一个要导入的模块。See this question answered by jqurious

jogvjijk

jogvjijk1#

不如

(
    df['Text']
    .str.replace_all("i'm", "i am", literal=True)
    .str.replace_all("i've", "i have", literal=True)
    .str.replace_all("isn't", "is not", literal=True)
)


或:

functools.reduce(
    lambda res, x: getattr(
        getattr(res, "str"), "replace_all"
    )(x[0], x[1], literal=True),
    cList.items(),
    df["Text"],
)

相关问题