没有提供描述。
cvxl0en21#
在microsoft/DeepSpeed#5219中添加了对Qwen1.5模型的支持。尝试运行其中一个模型时，您是否看到了错误？
kiz8lqtg2#
我发现两个需要在DeepSpeed-MII上的qwen-1.5中改进的小问题。
There is no bos token in qwen-1.5 ,因此当设置 return_full_text=True 时，这行代码(即， output_tokens = torch.cat((r.prompt_tokens[1:], output_tokens)) )将错过第一个标记。
return_full_text=True
output_tokens = torch.cat((r.prompt_tokens[1:], output_tokens))
qwen-1.5的 tokenizer.vocab_size 是 151643,如果添加特殊标记(例如， <|im_start|>, <|im_end|>),则标记的数量将为 151646。请参阅 this 以获取更多详细信息。因此，这行代码(即， next_token_logits = next_token_logits[:, :self.vocab_size] )对于qwen-1.5来说效果不佳。它在生成文本时会错过特殊标记(<|im_end|>),并且在达到最大长度之前不会正常停止。
tokenizer.vocab_size
next_token_logits = next_token_logits[:, :self.vocab_size]
bq8i3lrv3#
当我在使用RESTful API进行测试时，发现我的requests.post没有得到mii.serve的响应。查看后台进程后，发现我正在测试的URL已经完成。我需要按Ctrl+C结束，然后重新运行脚本。
   @mrwyattii
3条答案
按热度按时间cvxl0en21#
在microsoft/DeepSpeed#5219中添加了对Qwen1.5模型的支持。尝试运行其中一个模型时，您是否看到了错误？
kiz8lqtg2#
我发现两个需要在DeepSpeed-MII上的qwen-1.5中改进的小问题。
There is no bos token in qwen-1.5 ,因此当设置
return_full_text=True时，这行代码(即，output_tokens = torch.cat((r.prompt_tokens[1:], output_tokens)))将错过第一个标记。qwen-1.5的
tokenizer.vocab_size是 151643,如果添加特殊标记(例如， <|im_start|>, <|im_end|>),则标记的数量将为 151646。请参阅 this 以获取更多详细信息。因此，这行代码(即，next_token_logits = next_token_logits[:, :self.vocab_size])对于qwen-1.5来说效果不佳。它在生成文本时会错过特殊标记(<|im_end|>),并且在达到最大长度之前不会正常停止。bq8i3lrv3#
当我在使用RESTful API进行测试时，发现我的requests.post没有得到mii.serve的响应。查看后台进程后，发现我正在测试的URL已经完成。我需要按Ctrl+C结束，然后重新运行脚本。