这里的主要问题位于closest方法中：

def closest(colors, color):
    colors = np.array(colors)
    color = np.array(color)
    distances = np.sqrt(np.sum((colors - color) ** 2, axis=1))

colors和color都成为uint8类型的NumPy数组。现在，当减去uint8值时，不会得到负值，但会发生整数下溢，导致值接近255。因此，然后计算的distances是错误的，最终导致错误的颜色拾取。
因此，最快的解决方法是将两个变量都转换为int32：

def closest(colors, color):
    colors = np.array(colors).astype(np.int32)
    color = np.array(color).astype(np.int32)
    distances = np.sqrt(np.sum((colors - color) ** 2, axis=1))

此外，利用NumPy的矢量化能力可能很有用。考虑以下方法用于closest方法：

def closest(colors, image):
    colors = np.array(colors).astype(np.int32)
    image = image.astype(np.int32)
    distances = np.argmin(np.array([np.sqrt(np.sum((color - image) ** 2, axis=2)) for color in colors]), axis=0)
    return colors[distances].astype(np.uint8)

所以，不是迭代所有像素，

for y in np.arange(image_nd.shape[0]):
    for x in np.arange(image_nd.shape[1]):
        image_nd[y, x] = closest(four_major_colors, image_nd[y, x])

你可以简单地传递整个图像：

image_nd = closest(four_major_colors, image_nd)

使用给定的图像，我在我的机器上获得了100倍的速度。当然，找到RGB直方图值也可以优化。（不幸的是，我使用Python字典的经验还不是那么好。
无论如何-希望有帮助！

由于您的测试图像大多包含相同颜色的块，因此您可以尝试应用“模式”图像过滤器，该过滤器在每个像素周围的NxN框中选择最常见的颜色：

#!/usr/bin/env python3
from PIL import Image, ImageFilter

image = Image.open('pattern_2.png')
print(f'Original has {len(image.getcolors(1024))} colours')

aliased = image.filter(ImageFilter.ModeFilter(5))
aliased.save('pattern_2_al.png')
print(f'Aliased has {len(aliased.getcolors(1024))} colours')

$ ./test.py 
Original has 678 colours
Aliased has 10 colours

我发现一个5x5的盒子对于我自己的测试图像效果很好，对于你的测试图像也相当好，但是你可能想玩一下盒子的大小（注意盒子越大，你的“锯齿”结果就越圆）。
结果并不完美（它生成的图像有10种颜色，而不是4种颜色），但您也可能会发现，在运行自己的算法之前应用图像过滤器会给您带来良好的结果。
有关详细信息，请参见Pillow文档。