我使用mii和hf模型在两张A800显卡上对mixtral8x7b进行了推理测试。生成(),但推理结果不一致，mii的推理结果不如hf的好。
4jb9z9bj1#
请分享提示和生成的文本。由于我们自定义的CUDA内核，我们无法确保与基线模型的输出完全匹配，但输出的质量应该是相同的。
1条答案
按热度按时间4jb9z9bj1#
请分享提示和生成的文本。由于我们自定义的CUDA内核，我们无法确保与基线模型的输出完全匹配，但输出的质量应该是相同的。