bounty还有6天到期。回答此问题可获得+50声望奖励。piedpiper想吸引更多的注意力这个问题：只是想有一些方法来加快我的m1 mac上的事情

我从here运行了以下基准测试。

#!/usr/bin/env python3

import torch

def batched_dot_mul_sum(a, b):
    '''Computes batched dot by multiplying and summing'''
    return a.mul(b).sum(-1)

def batched_dot_bmm(a, b):
    '''Computes batched dot by reducing to ``bmm``'''
    a = a.reshape(-1, 1, a.shape[-1])
    b = b.reshape(-1, b.shape[-1], 1)
    return torch.bmm(a, b).flatten(-3)

# Input for benchmarking
x = torch.randn(10000, 64)

# Ensure that both functions compute the same output
assert batched_dot_mul_sum(x, x).allclose(batched_dot_bmm(x, x))

import timeit

t0 = timeit.Timer(
    stmt='batched_dot_mul_sum(x, x)',
    setup='from __main__ import batched_dot_mul_sum',
    globals={'x': x})

t1 = timeit.Timer(
    stmt='batched_dot_bmm(x, x)',
    setup='from __main__ import batched_dot_bmm',
    globals={'x': x})

print(f'mul_sum(x, x):  {t0.timeit(100) / 100 * 1e6:>5.1f} us')
print(f'bmm(x, x):      {t1.timeit(100) / 100 * 1e6:>5.1f} us')

字符串
我得到了

mul_sum(x, x):  1065.9 us
bmm(x, x):      134.5 us

型
在Mac上
和/或

mul_sum(x, x):   52.3 us
bmm(x, x):      120.1 us

型
在Linux CPU上
我看到了巨大的性能差异，这是预期的吗？
我第一次注意到这种差异是在一个更严肃的程序上，我正试图在这里复制它。