看起来，关于“同步”这个术语，我们的意思似乎有所不同。async_scope 和 tf.config.experimental.set_synchronous_execution 使用的意义与我们在CUDA术语中使用的含义不同。
参考：async_wait(由set_synchronous_execution使用)调用SyncExecutors,它使用WaitForAllPendingNodes。C Package 器的文档字符串如下：

// Causes the calling thread to block till all ops dispatched in this executor
// have been executed. Note that "execution" here refers to kernel execution /
// scheduling of copies, etc. Similar to sync execution, it doesn't guarantee
// that lower level device queues (like GPU streams) have been flushed.

相反，在GPU编程的背景下，当我们提到同步或异步内核执行时，我们指的是主机和设备之间的同步。
对于那些正在对TF模型的性能进行基准测试的人来说，如果文档能澄清这个区别，那将是非常有用的。

与此相反，https://www.tensorflow.org/guide/intro_to_graphs#seeing_the_speed-up 中的基准脚本不包含 numpy() 调用。
[...]
第二个示例是否正确？我们是否需要一个 numpy() 调用来确保计算完成？
我使用 Nsight 分析工具运行了一些基准测试，以调查这个问题，确实需要一个 numpy() 调用。否则测量到的时间只对应于启动时间。我还确认 set_synchronous_execution 和 async_scope 不影响 GPU 同步。
(没有 numpy() 调用的测量时间用绿色高亮显示)

由于在文档 https://www.tensorflow.org/guide/intro_to_graphs#seeing_the_speed-up 中，比较的是 eager 和 tf.function,如果你使用 numpy() 会抛出错误，因为 numpy() 不适用于图模式或 tf.function 内部。

这个问题已经被自动标记为过时，因为它没有最近的活动。如果没有进一步的活动发生，它将被关闭。谢谢。

感谢@sachinprasadhs的回答。如果我们想要比较任何计算的性能，我们需要确保计算已经完成。关于这个问题：当我们使用GPU内核进行工作时，如何确保计算已经完成。对于https://www.tensorflow.org/guide/intro_to_graphs#seeing_the_speed-up链接，这是如何插入numpy调用以确保同步的方法：

def power(x, y):
  result = tf.eye(10, dtype=tf.dtypes.int32)
  for _ in range(y):
    result = tf.matmul(x, result)
  return result

print("Eager execution:", timeit.timeit(lambda: power(x, 100)[0].numpy(), number=1000))

power_as_graph = tf.function(power)
print("Graph execution:", timeit.timeit(lambda: power_as_graph(x, 100)[0].numpy(), number=1000))