Pandas加速reverse_geocoder在列与字符串和坐标

zf2sa74q  于 2024-01-04  发布在  其他
关注(0)|答案(1)|浏览(94)

我有一个像这样的有两列的框架:

country_code    geo_coords
GB              nan
nan             [13.43, 52.48]
TR              nan
...

字符串
我想使用geo_coords列中的信息在country_code中填充nan值。
为了从坐标中提取国家代码,我使用了reverse_geocoder模块。
这是我的代码:

def from_coords_to_code(coords):
    """Find the country code of coordinates.

    Args:
        coords: coordinates of the point in [lon, lat] format
    """
    return rg.search(coords[::-1])[0]["cc"]

sub_df["country_code"].fillna(sub_df["geo_coords"], inplace=True)

sub_df["country_code"] = sub_df["country_code"].apply(
    lambda x: from_coords_to_code(x) if isinstance(x, list) else x
)


由于我有成千上万的行,这段代码非常慢。
在另一个question之后,我试图在删除nan值后对整个geo_coords列应用反向地理编码:

geo_coords = df["geo_coords"].loc[df["geo_coords"].notna()]
geo_coords_tuple = tuple(geo_coords.apply(lambda x: tuple(x[::-1])))
cc_new = rg.search(geo_coords_tuple, mode=2)
country_code = [i["cc"] for i in cc_new]

for i, j in enumerate(geo_coords.index):
    df["country_code"].iloc[j] = country_code[i]


这样会更快,但它给了我一个警告:

A value is trying to be set on a copy of a slice from a DataFrame

See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy
  sub_df["country_code"].iloc[j] = country_code[i]


我想避免这种情况,我不确定这是一个最佳解决方案。
有什么建议可以让整个代码更高效吗?
我很高兴从“reverse_geocoder”转移到任何其他模块。
重要:geo_coords中的坐标是geoJSON格式的,即[lon,lat],这就是我将它们反转的原因。

kmbjn2e3

kmbjn2e31#

函数rg.search()非常慢,而且已经使用了多个核心。我能够加快搜索速度,以便向任务添加额外的工作人员,使用ProcessPoolExecutor,例如:

from concurrent.futures import ProcessPoolExecutor as Pool

import pandas as pd
import reverse_geocoder as rg
from tqdm import tqdm

def process_coord(tpl):
    idx, (a, b) = tpl
    return idx, rg.search((b, a))[0]["cc"]

if __name__ == "__main__":
    # sample dataframe:
    df = pd.DataFrame(
        {
            "country_code": ["GB", None, "TR"] * 10_000,
            "geo_coords": [None, [13.43, 52.48], None] * 10_000,
        }
    )

    with Pool(max_workers=2) as pool:
        mask = df["country_code"].isna()

        for i, result in tqdm(
            pool.map(process_coord, zip(df.index[mask], df.loc[mask, "geo_coords"])),
            total=mask.sum(),
        ):
            df.loc[i, "country_code"] = result

    print(df)

字符串
在我的电脑(AMD 5700x)上,这是每秒17次搜索。

5%|████████▌                      | 507/10000 [00:29<09:12, 17.19it/s]

相关问题