Bug描述
尽管我遵循了llama index的最新文档,但仍然无法导入llama index。
问题1:
Llama index文档链接:https://docs.llamaindex.ai/en/stable/examples/llm/nvidia_tensorrt/
版本:
ubuntu:22.04
cuda : 12.2
架构-->Arm 64
jetpack - 6.0
问题2:
Nvidia jetson容器链接:https://github.com/dusty-nv/jetson-containers?tab=readme-ov-file
版本:
ubuntu:22.04
cuda : 12.2
架构-->Arm 64
jetpack - 6.0
请提供将TensorRT LLM与一些llama index rag模块集成的标准解决方案。
使用的设备:Advantech Jetson Orin NX - 16 GB变体
版本
llama-index 0.10.50
重现步骤
问题1:
- 按照llama index文档,逐步执行提供的命令。
- 在文档中的第3个命令时出现错误。
"pip3 install tensorrt_llm==0.8.0 -U --extra-index-url https://pypi.nvidia.com "
问题2: - 按照dusty nv文档,逐步执行提供的命令。
- 在相关日志中出现相同的错误,"$ jetson-containers run $(autotag tensorrt-llm)"
相关日志/回溯
Error:
Looking in indexes: https://pypi.org/simple, https://pypi.nvidia.com
Collecting tensorrt_llm==0.8.0
Downloading tensorrt-llm-0.8.0.tar.gz (6.9 kB)
Preparing metadata (setup.py) ... error
error: subprocess-exited-with-error
× python setup.py egg_info did not run successfully.
│ exit code: 1
╰─> [6 lines of output]
Traceback (most recent call last):
File "<string>", line 2, in <module>
File "<pip-setuptools-caller>", line 34, in <module>
File "/tmp/pip-install-r7zpl9ve/tensorrt-llm_382951b6d5f34b8798d95f1967eb0620/setup.py", line 90, in <module>
raise RuntimeError("Bad params")
RuntimeError: Bad params
[end of output]
note: This error originates from a subprocess, and is likely not a problem with pip.
error: metadata-generation-failed
× Encountered error while generating package metadata.
╰─> See above for output.
note: This is an issue with the package mentioned above, not pip.
hint: See above for details.
1条答案
按热度按时间v09wglhw1#
要解决在Advantech Jetson Orin NX - 16 GB变体设备上导入TensorRT LLM Docker镜像中的Llama Index模块时遇到的问题,请按照以下步骤操作:
确保已安装CUDA 12.2或更高版本:
验证您的设备是否安装了Nvidia CUDA 12.2或更高版本,因为运行TensorRT-LLM需要它。
安装
tensorrt_llm
:使用以下pip命令安装
tensorrt_llm
包:按照TensorRT-LLM GitHub仓库中的说明创建必要的模型文件。应生成以下文件:
Llama_float16_tp1_rank0.engine
config.json
model.cache
整理模型文件:
创建一个名为
model
的目录,并将生成的文件移动到该目录中:为NVIDIA TensorRT安装Llama Index集成:
使用以下Python代码初始化并运行LocalTensorRTLLM:
故障排除
RuntimeError: Bad params
如果您在安装
tensorrt_llm
过程中遇到RuntimeError: Bad params
错误,请按照以下步骤操作:重新安装
tensorrt_llm
:检查CUDA版本:
确保您已安装Nvidia CUDA 12.2或更高版本。
验证模型路径:
确保提供的
model_path
存在并包含必要的文件(Llama_float16_tp1_rank0.engine
,config.json
,model.cache
)。检查配置文件:
确保模型目录中的
config.json
文件格式正确,并包含所有必要的配置。验证Tensor并行和流水线并行大小:
确保
config.json
中的tensor_parallel
和pipeline_parallel
大小与运行时大小相匹配。检查GPU可用性:
确保有可用的CUDA启用的GPU,并设置正确的设备。
验证分词器目录:
确保提供的
tokenizer_dir
正确,并包含必要的分词器文件。检查采样配置:
确保采样配置参数正确设置。
启用调试模式
要获取有关x1m9n9xx更多信息以解决x9nx错误,请在创建x9nx对象时启用x9nx:
x9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nxbx9nn