我目前正在做一个NLP模型,并且正在优化预处理步骤。因为我使用的是一个自定义函数,所以polars不能并行化操作。
我已经尝试了一些事情与极“replace_all”和一些“.when.then.otherwise”,但还没有找到一个解决方案。
在这种情况下,我正在做“扩张收缩”(例如,I 'm-〉I am)。
我目前使用的是:
# This is only a few example contractions that I use.
cList = {
"i'm": "i am",
"i've": "i have",
"isn't": "is not"
}
c_re = re.compile("(%s)" % "|".join(cList.keys()))
def expandContractions(text, c_re=c_re):
def replace(match):
return cList[match.group(0)]
return c_re.sub(replace, text)
df = pl.DataFrame({"Text": ["i'm i've, isn't"]})
df["Text"].apply(expandContractions)
产出
shape: (1, 1)
┌─────────────────────┐
│ Text │
│ --- │
│ str │
╞═════════════════════╡
│ i am i have, is not │
└─────────────────────┘
但希望使用极坐标的全部性能优势,因为我处理的数据集相当大。
性能测试:
#This dict have 100+ key/value pairs in my test case
cList = {
"i'm": "i am",
"i've": "i have",
"isn't": "is not"
}
def base_case(sr: pl.Series) -> pl.Series:
c_re = re.compile("(%s)" % "|".join(cList.keys()))
def expandContractions(text, c_re=c_re):
def replace(match):
return cList[match.group(0)]
return c_re.sub(replace, text)
sr = sr.apply(expandContractions)
return sr
def loop_case(sr: pl.Series) -> pl.Series:
for old, new in cList.items():
sr = sr.str.replace_all(old, new, literal=True)
return sr
def iter_case(sr: pl.Series) -> pl.Series:
sr = functools.reduce(
lambda res, x: getattr(getattr(res, "str"), "replace_all")(
x[0], x[1], literal=True
),
cList.items(),
sr,
)
return sr
它们都返回相同的结果,下面是样本长度约为500个字符的约10,000个样本的15个循环的平均时间。
Base case: 16.112362766265868
Loop case: 7.028670716285705
Iter case: 7.112465214729309
所以使用这两种方法的速度都提高了一倍多,这主要归功于polars API调用“replace_all”。我最终使用了循环用例,因为这样我就少了一个要导入的模块。See this question answered by jqurious
1条答案
按热度按时间jogvjijk1#
不如
?
或: