为了通用的紧凑目的,有一个CPU/NPU兼容的PagedKVCache是有用的。
jrcvhitl1#
+1 有些NPU无法像CPU一样绑定线程,因此无法使用PagedKVCache。有任何最新的进展吗?
1条答案
按热度按时间jrcvhitl1#
+1 有些NPU无法像CPU一样绑定线程,因此无法使用PagedKVCache。有任何最新的进展吗?