您好，请问您是pip install flash_attn失败了吗？需要成功pip install flash_atten后才能通过 --use-flash-attention 启用FlashAttention。另外，建议您注意下安装的flash-attn的版本，目前需要在2.0以下，如 pip install flash-attn==0.2.8。

运行 setup.py clean 以清除 flash-attn
构建 flash-attn 失败
安装收集到的软件包：flash-attn
运行 setup.py install 以安装 flash-attn ... 错误

您好，请问可以提供下完整报错吗？

完整报错太长了，截图截不全

您好，请问您的命令是 pip install flash-attn==0.2.8 吗？建议您升级Pytorch版本到1.12及以上，另外可以参考一下flash-attn官方仓库的installation部分。

你好，

1. 我成功地安装了高版本的flash-attn,发现我们预训练模型定义的clip参数名称与flash-attn新版的参数名称不太一致。
2. 我看即使是低版本的flash-attn也有这个问题。