Baichuan-7B [Question] 请问7B没有用上FlashAttention吗?

prdp8dxp  于 1个月前  发布在  其他
关注(0)|答案(1)|浏览(35)

必需的先决条件

问题

请问7B没有用上FlashAttention吗?看了下7B代码,没发现这块的逻辑。

检查清单

  • 我已经提供了所有相关和必要的信息。
  • 我已经为这个问题选择了一个合适的标题。
lc8prwob

lc8prwob1#

不,我们使用xformers进行训练,并使用naive impl进行推理。

相关问题