所需先决条件

• 我已阅读了文档 https://github.com/baichuan-inc/baichuan-7B/blob/HEAD/README.md 。
• 我已在 Issue Tracker 和 Discussions 中搜索，但尚未报告此问题。(如果已经报告，请在那里加1或评论。)
• 请先在 Discussion 中提问。

系统信息

从 transformers 导入 AutoModelForCausalLM,AutoTokenizer

import os
os.environ["CUDA_VISIBLE_DEVICES"] = '0,1,2,3'
tokenizer = AutoTokenizer.from_pretrained("./", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("./", device_map="auto", trust_remote_code=True)
inputs = tokenizer('登鹳雀楼->王之涣
夜雨寄北->', return_tensors='pt')

# inputs = inputs.to('cuda:2')

pred = model.generate(**inputs, max_new_tokens=16,repetition_penalty=1.1)
print(tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))

问题描述

可复现示例代码

Python 代码片段：
命令行：
额外依赖项：
重现步骤：

Traceback

• 无响应*

预期行为

• 无响应*

其他上下文

• 无响应*

检查清单

• 我已经提供了所有相关和必要的信息。
• 我已经为这个问题选择了一个合适的标题。