当前环境信息如下:
- PyTorch版本:2.3.1+cu121
- 是否为调试构建:否
- 用于构建PyTorch的CUDA版本:12.1
- 是否使用ROCM构建:N/A
- 操作系统:Ubuntu 22.04.4 LTS(x86_64)
- GCC版本:(Ubuntu 11.4.0-1ubuntu1~22.04) 11.4.0
- Clang版本:无法收集
- CMake版本:3.30.0
- Libc版本:glibc-2.35
- Python版本:3.11.9(主,Apr 19, 2024 16:48:06) [GCC 11.2.0] (64-bit runtime)
- Python平台:Linux-5.15.0-78-generic-x86_64-with-glibc2.35
- 是否可用CUDA:是
- CUDA运行时版本:12.3.107
- CUDA模块加载设置:懒加载
- GPU模型和配置:
GPU 0:NVIDIA A100-SXM4-80GB
GPU 1:NVIDIA A100-SXM4-80GB
GPU 2:NVIDIA A100-SXM4-80GB
GPU 3:NVIDIA A100-SXM4-80GB
GPU 4:NVIDIA A100-SXM4-80GB
GPU 5:NVIDIA A100-SXM4-80GB
GPU 6:NVIDIA A100-SXM4-80GB
GPU 7:NVIDIA A100-SXM4-80GB - Nvidia驱动版本:535.104.05
- cuDNN版本:可能为以下之一:
/usr/lib/x86_64-linux-gnu/libcudnn.so.9.0.0
/usr/lib/x86_64-linux-gnu/libcudnn_adv.so.9.0.0
/usr/lib/x86_64-linux-gnu/libcudnn_cnn.so.9.0.0
/usr/lib/x86_64-linux-gnu/libcudnn_engines_precompiled.so.9.0.0
/usr/lib/x86_64-linux-gnu/libcudnn_engines_runtime_compiled.so.9.0.0
/usr/lib/x86_64-linux-gnu/libcudnn_graph.so.9.0.0
/usr/lib/x86_64-linux-gnu/libcudnn_heuristic.so.9.0.0
/usr/lib/x86_64-linux-gnu/libcudnn_ops.so.9.0.0
HIP运行时版本:N/A
MIOpen运行时版本:N/A
XNNPACK可用性:是
根据您提供的信息,您在使用glm-4-9b-chat
和openai compatible server
模式时遇到了不一致的结果。为了解决这个问题,您可以尝试以下方法:
确保您的系统和驱动程序是最新的。这可以通过访问硬件制造商的官方网站或更新驱动程序来完成。
检查您的硬件配置是否正确。确保所有组件都已正确安装并连接。
尝试使用不同的采样策略。例如,您可以尝试使用随机抽样而不是贪婪抽样。
如果问题仍然存在,您可以考虑在相关论坛或社区中寻求帮助,或者联系硬件制造商的技术支持团队。
1条答案
按热度按时间kuarbcqp1#
对不起,但我想知道是否能得到完全相同的答案?