numpy 优化二维数组中最近点的查找索引

7gyucuyw  于 2023-10-19  发布在  其他
关注(0)|答案(6)|浏览(152)

2d NumPy数组x_array包含x方向的位置信息,y_array在y方向上的位置。我有一个x,y点的列表。对于列表中的每个点,我根据this code找到最接近该点的位置的数组索引:

import time
import numpy

def find_index_of_nearest_xy(y_array, x_array, y_point, x_point):
    distance = (y_array-y_point)**2 + (x_array-x_point)**2
    idy,idx = numpy.where(distance==distance.min())
    return idy[0],idx[0]

def do_all(y_array, x_array, points):
    store = []
    for i in xrange(points.shape[1]):
        store.append(find_index_of_nearest_xy(y_array,x_array,points[0,i],points[1,i]))
    return store

# Create some dummy data
y_array = numpy.random.random(10000).reshape(100,100)
x_array = numpy.random.random(10000).reshape(100,100)

points = numpy.random.random(10000).reshape(2,5000)

# Time how long it takes to run
start = time.time()
results = do_all(y_array, x_array, points)
end = time.time()
print 'Completed in: ',end-start

我想加快速度。

xam8gpfp

xam8gpfp1#

下面是一个scipy.spatial.KDTree示例

In [1]: from scipy import spatial

In [2]: import numpy as np

In [3]: A = np.random.random((10,2))*100

In [4]: A
Out[4]:
array([[ 68.83402637,  38.07632221],
       [ 76.84704074,  24.9395109 ],
       [ 16.26715795,  98.52763827],
       [ 70.99411985,  67.31740151],
       [ 71.72452181,  24.13516764],
       [ 17.22707611,  20.65425362],
       [ 43.85122458,  21.50624882],
       [ 76.71987125,  44.95031274],
       [ 63.77341073,  78.87417774],
       [  8.45828909,  30.18426696]])

In [5]: pt = [6, 30]  # <-- the point to find

In [6]: A[spatial.KDTree(A).query(pt)[1]] # <-- the nearest point 
Out[6]: array([  8.45828909,  30.18426696])

#how it works!
In [7]: distance,index = spatial.KDTree(A).query(pt)

In [8]: distance # <-- The distances to the nearest neighbors
Out[8]: 2.4651855048258393

In [9]: index # <-- The locations of the neighbors
Out[9]: 9

#then 
In [10]: A[index]
Out[10]: array([  8.45828909,  30.18426696])
pbossiut

pbossiut2#

scipy.spatial也有k-d树实现:scipy.spatial.KDTree
该方法通常是首先使用点数据来建立k-d树。其计算复杂度为N log N的数量级,其中N是数据点的数量。范围查询和最近邻搜索可以以log N复杂度完成。这比简单地循环遍历所有点(复杂度N)要有效得多。
因此,如果您有重复的范围或最近邻查询,强烈建议使用k-d树。

pwuypxnk

pwuypxnk3#

如果你能将数据转换成正确的格式,一个快速的方法是使用scipy.spatial.distance中的方法:
http://docs.scipy.org/doc/scipy/reference/spatial.distance.html
特别是pdistcdist提供了计算成对距离的快速方法。

qc6wkl3g

qc6wkl3g4#

搜索方法有两个阶段:
1.建立搜索结构,例如一个KDTree,来自npt数据点(您的x y
1.查找nq查询点。
不同的方法有不同的构建时间和不同的查询时间。您的选择将在很大程度上取决于nptnq
scipy cdist的构建时间为0,但查询时间约为npt * nq
KDTree构建时间很复杂,查找速度非常快,~ ln npt * nq
在一个常规的(曼哈顿)网格上,你可以做得更好:见(ahem)find-nearest-value-in-numpy-array。
一个小测试台::建立一个5000 × 5000二维点的KDTree大约需要30秒,然后查询需要微秒; scipy cdist 2500万× 20点(所有对,4G)大约需要5秒钟,在我的旧iMac上。

j91ykkif

j91ykkif5#

我一直在努力沿着这条路走下去,但我对笔记本电脑、Python和这里讨论的各种工具都是新的,但我已经设法在我旅行的道路上走了一些路。

BURoute = pd.read_csv('C:/Users/andre/BUKP_1m.csv', header=None)
NGEPRoute = pd.read_csv('c:/Users/andre/N1-06.csv', header=None)

我从我的BURoute矩阵创建一个组合XY阵列

combined_x_y_arrays = BURoute.iloc[:,[0,1]]

我用下面的命令创建点

points = NGEPRoute.iloc[:,[0,1]]

然后,我做KDTree魔术

def do_kdtree(combined_x_y_arrays, points): 
    mytree = scipy.spatial.cKDTree(combined_x_y_arrays)
    dist, indexes = mytree.query(points)
    return indexes

results2 = do_kdtree(combined_x_y_arrays, points)

这给了我一个索引数组。我现在试图弄清楚如何计算结果数组中的点和索引点之间的距离。

bzzcjhmw

bzzcjhmw6#

def find_nearest_vector(self,arrList, value):
    
    y,x = value
    offset =10
    
    x_Array=[]
    y_Array=[]

    for p in arrList:
        x_Array.append(p[1])
        y_Array.append(p[0])
        

    x_Array=np.array(x_Array)
    y_Array=np.array(y_Array)

    difference_array_x = np.absolute(x_Array-x)
    difference_array_y = np.absolute(y_Array-y)

    index_x = np.where(difference_array_x<offset)[0]
    index_y = np.where(difference_array_y<offset)[0]

    index = np.intersect1d(index_x, index_y, assume_unique=True)

    nearestCootdinate = (arrList[index][0][0],arrList[index][0][1])
    

    return nearestCootdinate

相关问题