• 请确保这是一个错误。根据我们的

GitHub Policy，
我们仅解决代码/文档错误、性能问题、功能请求和
GitHub上的构建/安装问题。tag：bug_template*

编辑以添加：

正如第一条评论所阐明的，由于浮点错误的累积，所描述的行为可能是“按预期工作”的，这在许多常见情况下（但不是所有情况下）得到了缓解，导致了令人惊讶的不一致。
但是，我仍然认为至少有两件事需要改进：

• tf.reduce_sum可以在其文档中包含一个注解来解释此行为，如np.sum
• tf.reduce_sum可以采用dtype参数来提高累加器和输出的精度，而不需要增加整个输入Tensor的精度，也像np.sum一样

原始报告如下。

系统信息

此错误在标准Colab上可重现，因此我仅包含以下系统信息：

• TensorFlow版本：2.5.0
• Python版本：3.7.11
  要重新生成的代码

with tf.device("cpu:0"):
  print(tf.reduce_sum(tf.ones((20_000_000, 2)), axis=0))

在支持GPU的虚拟机上的colab中完整再现：https://gist.github.com/nfelt/e6edc45736740ed899eea95a36bea359

描述当前行为

在CPU上，tf.reduce_sum在一个秩为2的float 32Tensor上，沿着一个包含超过2^24个值为1.0的元素的轴，发出一个被截断为2^24（float 32中可精确表示的最大整数）的错误输出。

描述预期行为

它应该发出与在几乎所有其他上下文中相同的答案，这是数字上正确的答案，直到浮点表示错误，在本例中为tf.Tensor([20000000. 20000000.], shape=(2,), dtype=float32)。
特别是，我们在以下所有情况下都得到了预期的答案：

• 在GPU而非CPU上运行reduce_sum
• 使用float64而不是float32
• 对超过2^24个值为1.0的元素的秩为1的Tensor求和
• 对秩为2的Tensor沿着轴求和，其元素少于2^24个，但单个元素大于2^24个，例如tf.reduce_sum(tf.ones((10_000_000, 2)) * 2.0, axis=0)
  备注

在2^24处停止的问题似乎影响了求和的元素数，而不是实际的和本身，基于以下情况：

with tf.device("cpu:0"):
  print(tf.reduce_sum(tf.ones((20_000_000, 2)) * 0.5, axis=0))
>>> tf.Tensor([8388608. 8388608.], shape=(2,), dtype=float32)

特别是，它似乎只包括尾部的2^24个元素，基于此：

tensor_with_one_big_value = tf.concat([[[10_000_000, 0]], tf.ones((20_000_000, 2))], axis=0)
with tf.device("cpu:0"):
  print(tf.reduce_sum(tensor_with_one_big_value, axis=0))
with tf.device("cpu:0"):
  print(tf.reduce_sum(tf.reverse(tensor_with_one_big_value, axis=[0]), axis=0))
>>> tf.Tensor([16777216. 16777216.], shape=(2,), dtype=float32)
>>> tf.Tensor([26777216. 16777216.], shape=(2,), dtype=float32)