系统信息
参考 https://github.com/huggingface/text-generation-inference?tab=readme-ov-file#local-install 安装TGI本地。但我一直收到与vllm相关的错误。
RuntimeError: Cannot find CMake executable
make[1]: *** [Makefile-vllm:5: build-vllm-cuda] Error 1
make[1]: Leaving directory '/home/gpu/path/llm/text-generation-inference/server'
make: *** [Makefile:2: install-server] Error 2
信息
- Docker
- 直接使用CLI
任务
- 一个官方支持的命令
- 我自己的修改
复现
git clone https://github.com/huggingface/text-generation-inference.git
cd text-generation-inference/
BUILD_EXTENSIONS=True make install
预期行为
完成构建
7条答案
按热度按时间6rqinv9w1#
你好,@ragesh2000!
感谢您报告此问题!您能提供更多关于您的系统的信息吗?
看起来您可能没有安装cmake?
3z6pesqy2#
@ErikKaum I have cmake in my system with version
cmake version 3.22.1
Here is the complete traceback
z4iuyo4d3#
好的,明白了。感谢提供的完整堆栈跟踪信息 👍
所以你得到了一个
subprocess.CalledProcessError: Command '['cmake', '--build', '.', '--target', '_moe_C', '-j', '64']' returned non-zero exit status 2.
我认为 Unix 返回状态 2 表示无效的 shell 命令。
一种更好的理解方式是在终端中直接运行该命令,以了解为什么它是无效的。
uhry853o4#
cmake --build . --target _moe_C -j 64
的结果是Error: could not load cache
@ErikKaum
bfhwhh0e5#
看起来仍然像是cmake错误:https://stackoverflow.com/questions/16319292/cmake-error-could-not-load-cache
顺便问一下,你是否需要从源代码构建TGI?一般来说,如果你想使用docker化的版本运行它,更容易上手。
ymzxtsji6#
实际上,我正在使用GPU docker运行整个程序。因此,我认为在docker内部运行另一个docker可能会产生一些冲突。@ErikKaum
e4yzc0pl7#
是的,这肯定不会让事情变得更简单!