当前环境信息如下：

• PyTorch版本：2.3.1+cu121
• 是否为调试构建：否
• 用于构建PyTorch的CUDA版本：12.1
• 是否使用ROCM构建：N/A
• 操作系统：Ubuntu 22.04.4 LTS(x86_64)
• GCC版本：(Ubuntu 11.4.0-1ubuntu1~22.04) 11.4.0
• Clang版本：无法收集
• CMake版本：3.30.0
• Libc版本：glibc-2.35
• Python版本：3.11.9(主，Apr 19, 2024 16:48:06) [GCC 11.2.0] (64-bit runtime)
• Python平台：Linux-5.15.0-78-generic-x86_64-with-glibc2.35
• 是否可用CUDA:是
• CUDA运行时版本：12.3.107
• CUDA模块加载设置：懒加载
• GPU模型和配置：
  GPU 0:NVIDIA A100-SXM4-80GB
  GPU 1:NVIDIA A100-SXM4-80GB
  GPU 2:NVIDIA A100-SXM4-80GB
  GPU 3:NVIDIA A100-SXM4-80GB
  GPU 4:NVIDIA A100-SXM4-80GB
  GPU 5:NVIDIA A100-SXM4-80GB
  GPU 6:NVIDIA A100-SXM4-80GB
  GPU 7:NVIDIA A100-SXM4-80GB
• Nvidia驱动版本：535.104.05
• cuDNN版本：可能为以下之一：
  /usr/lib/x86_64-linux-gnu/libcudnn.so.9.0.0
  /usr/lib/x86_64-linux-gnu/libcudnn_adv.so.9.0.0
  /usr/lib/x86_64-linux-gnu/libcudnn_cnn.so.9.0.0
  /usr/lib/x86_64-linux-gnu/libcudnn_engines_precompiled.so.9.0.0
  /usr/lib/x86_64-linux-gnu/libcudnn_engines_runtime_compiled.so.9.0.0
  /usr/lib/x86_64-linux-gnu/libcudnn_graph.so.9.0.0
  /usr/lib/x86_64-linux-gnu/libcudnn_heuristic.so.9.0.0
  /usr/lib/x86_64-linux-gnu/libcudnn_ops.so.9.0.0
  HIP运行时版本：N/A
  MIOpen运行时版本：N/A
  XNNPACK可用性：是
  根据您提供的信息，您在使用glm-4-9b-chat和openai compatible server模式时遇到了不一致的结果。为了解决这个问题，您可以尝试以下方法：

1. 确保您的系统和驱动程序是最新的。这可以通过访问硬件制造商的官方网站或更新驱动程序来完成。

2. 检查您的硬件配置是否正确。确保所有组件都已正确安装并连接。

3. 尝试使用不同的采样策略。例如，您可以尝试使用随机抽样而不是贪婪抽样。

4. 如果问题仍然存在，您可以考虑在相关论坛或社区中寻求帮助，或者联系硬件制造商的技术支持团队。