text-generation-inference 自动构建英特尔CPU优化镜像

k4ymrczo  于 22天前  发布在  其他
关注(0)|答案(1)|浏览(14)

你好,我们正在寻找在Xeons上部署TGI的最佳方法。
我了解到,带有x.y.z-intel标签的容器镜像是XPU构建,而Dockerfile_intel定义了XPU和CPU路径,其中XPU为默认值。我已经成功地手动运行了CPU版本的构建,效果很好。
通过使用默认的x.y.z-intel标签,可以启动XPU优化版本。在Xeons上,这会导致Target function add_rms_norm on cpu haven't implemented yet.错误,而我在手动构建CPU镜像时(通过修改PLATFORM参数)并未遇到这个问题。
@sywangyi@Narsil 是否有可能将自动构建CPU优化版本与IPEX一起作为CI的一部分上传?
这主要涉及到添加额外的镜像构建,运行Dockerfile_intel并将build_arg PLATFORM设置为cpu,而不是默认的xpu,并将其推送到一个单独的标签(例如x.y.z-intel-cpu)。
此外,是否有任何地方列出所有可用的镜像标签?
感谢大家的出色工作!

相关问题