感谢@chenllliang.这是一个很好的主意！有没有关于以这种方式实现MultimodalPrompt的参考资料？

你好，这个设计灵感来自于当前多模态LLM(如MMICL和MiniGPT5)的进展，它们支持交错的文本和图像作为输入。多模态信息可以在提示的不同位置出现(对于大多数当前的VLM来说，在提示的开头)。MultimodalPrompt 类可以根据不同的多模态LLM示例化，例如：

1. 对于MMICL,输入提示包括图像ID和参考信息

1. Interleaved Image-Text Data

Input:  Image 0 is <image0> {image 0}
        ...
        Image j is <imagej> {image j}
        {question}

MMICL:  {answer}

2. In−Context Demonstration Data

Input:  Image 0 is <image0> {image 0}.
        {question} 
        {answer} 
        ...
        Image j is <imagej> {image j}.
        {question} 

MMICL:  {answer}

不同的VLM处理多模态信息的方式不同，MultimodalPrompt 应该具有适应不同模型的灵活性。

感谢您的解释！我认为这是有前景的(尽管我不知道gpt-4v是否是这样做的)。请随时提交拉取请求。如果您愿意，也很高兴进一步讨论。

我也不知道，哈哈，但是从gpt4-v提供给用户的接口来看，gpt4-v似乎只是简单地将图像和文本连接起来。

我猜他们也会对图片进行编号。我尝试上传多张图片并询问第一张和第二张是什么。它确实按预期工作。

感谢提供的信息。