llama_index [问题]:TextEmbeddingsInference安装会安装torch和cuda

jexiocij  于 2个月前  发布在  其他
关注(0)|答案(4)|浏览(42)

问题验证

  • 我已经在文档和discord上寻找答案。

问题

我正在使用TextEmbeddingsInference,并且感到惊讶的是:
pip install llama-index-embeddings-text-embeddings-inference
安装了torch、cuda等。这似乎有些过多,因为当在服务器上运行TEI嵌入时?

r8xiu3jd

r8xiu3jd1#

torchcudallama-index-embeddings-text-embeddings-inference 包的安装可能看起来出乎意料,尤其是因为这些库没有在包的 pyproject.toml 文件中明确列出为依赖项。此包的主要依赖项包括 llama-index-corellama-index-embeddings-huggingfacehttpx ,没有直接提及 torchcuda
torchcuda 可能作为列出的一个包的间接依赖项被拉取进来,特别是如果它们依赖于 PyTorch 进行底层操作。这种情况在机器学习和 NLP 库中很常见,主要包不直接需要 torchcuda ,但其一个依赖项需要。
没有具体的错误消息或安装日志,很难准确找出确切的原因。然而,了解这些安装可能是由于依赖项提供的功能的必要性可以帮助澄清为什么它们会在安装过程中被包含。如果你正在寻找更轻量级的解决方案或者对这些依赖项有疑虑,你可以考虑探索替代包或设置虚拟环境来隔离这些安装与你的主工作环境。

来源

关于 Dosu

这个响应旨在帮助你节省时间并提供有用的信息。它不是精确的解决方案,而是你自己研究的起点。
请帮我变得更有用!如果这有帮助,请留下一个👍,如果无关紧要,请留下一个👎。
如果你想继续对话,请以 @dosu-bot 开始你的回复。

ojsjcaue

ojsjcaue2#

是的,它使用了来自llama-index-embeddings-huggingface的一些工具——可能这些应该移动到一些通用的Huggingface工具包/文件中。

zf9nrax1

zf9nrax13#

我也看到了这个,以为我犯了个错误。我清空了环境并重新开始。
当你考虑到一行curl命令将访问服务器并返回嵌入时,这似乎很疯狂。
我不想为这个创建一个自定义嵌入类,所以我现在先用它,但希望它能得到修复。
Llamaindex非常酷,但可以进行一些优化:)

ssgvzors

ssgvzors4#

我欢迎PR @dbkinghorn 😉

相关问题