当前环境

当我们运行预填充阶段时，vllm会接收多个请求进行预填充。这是否受到max_position_embeddings的限制？
我认为它不受这个数字的限制，因为每个序列都有自己的起始索引，我们只需要确保每个序列都小于max_position_embeddings。这是事实吗？

您希望如何使用vllm

我想运行一个特定模型的推理(在这里放置链接)。我不知道如何将其与vllm集成。