我有一个像这样的有两列的框架:
country_code geo_coords
GB nan
nan [13.43, 52.48]
TR nan
...
字符串
我想使用geo_coords
列中的信息在country_code
中填充nan
值。
为了从坐标中提取国家代码,我使用了reverse_geocoder
模块。
这是我的代码:
def from_coords_to_code(coords):
"""Find the country code of coordinates.
Args:
coords: coordinates of the point in [lon, lat] format
"""
return rg.search(coords[::-1])[0]["cc"]
sub_df["country_code"].fillna(sub_df["geo_coords"], inplace=True)
sub_df["country_code"] = sub_df["country_code"].apply(
lambda x: from_coords_to_code(x) if isinstance(x, list) else x
)
型
由于我有成千上万的行,这段代码非常慢。
在另一个question之后,我试图在删除nan
值后对整个geo_coords
列应用反向地理编码:
geo_coords = df["geo_coords"].loc[df["geo_coords"].notna()]
geo_coords_tuple = tuple(geo_coords.apply(lambda x: tuple(x[::-1])))
cc_new = rg.search(geo_coords_tuple, mode=2)
country_code = [i["cc"] for i in cc_new]
for i, j in enumerate(geo_coords.index):
df["country_code"].iloc[j] = country_code[i]
型
这样会更快,但它给了我一个警告:
A value is trying to be set on a copy of a slice from a DataFrame
See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy
sub_df["country_code"].iloc[j] = country_code[i]
型
我想避免这种情况,我不确定这是一个最佳解决方案。
有什么建议可以让整个代码更高效吗?
我很高兴从“reverse_geocoder”转移到任何其他模块。
重要:geo_coords
中的坐标是geoJSON格式的,即[lon,lat],这就是我将它们反转的原因。
1条答案
按热度按时间kmbjn2e31#
函数
rg.search()
非常慢,而且已经使用了多个核心。我能够加快搜索速度,以便向任务添加额外的工作人员,使用ProcessPoolExecutor
,例如:字符串
在我的电脑(AMD 5700x)上,这是每秒17次搜索。
型