你好,我们正在寻找在Xeons上部署TGI的最佳方法。
我了解到,带有x.y.z-intel
标签的容器镜像是XPU构建,而Dockerfile_intel
定义了XPU和CPU路径,其中XPU为默认值。我已经成功地手动运行了CPU版本的构建,效果很好。
通过使用默认的x.y.z-intel
标签,可以启动XPU优化版本。在Xeons上,这会导致Target function add_rms_norm on cpu haven't implemented yet.
错误,而我在手动构建CPU镜像时(通过修改PLATFORM
参数)并未遇到这个问题。
@sywangyi@Narsil 是否有可能将自动构建CPU优化版本与IPEX一起作为CI的一部分上传?
这主要涉及到添加额外的镜像构建,运行Dockerfile_intel
并将build_arg PLATFORM
设置为cpu
,而不是默认的xpu
,并将其推送到一个单独的标签(例如x.y.z-intel-cpu
)。
此外,是否有任何地方列出所有可用的镜像标签?
感谢大家的出色工作!
1条答案
按热度按时间wsewodh21#
感谢你@sywangyi接手这件事。