unilm 最小代码片段，用于评估KOSMOS2

n7taea2i 于 2个月前发布在其他

关注(0)|答案(4)|浏览(41)

你好，
非常感谢你开发了这个具有影响力和印象深刻的工作！这项工作真正地填补了多模态基础能力与视觉世界的差距。
我想礼貌地询问一下，你是否可以提供一些简单的代码片段来完成短语基础任务。希望这些代码片段能够让我们基于一张图片和几个名词短语体验KOSMOS2的惊人短语基础能力。我真诚地感谢你的时间和帮助！期待着收到你的回复。

unilm

来源：https://github.com/microsoft/unilm/issues/1214

4条答案

按热度按时间

nr9pn0ug1#

你好，@hewenbin

这个 project 可以提供给你尝试，希望它能帮助你。
[Kosmos-2]: colab tutorial or notebook for single-image inference of Visual Grounding task or VQA task #1200

赞(0）回复(0）举报 2个月前

0ve6wy6x2#

感谢您的快速响应。我想知道是否有任何不使用任何GUI的代码示例。例如，我想在一堆图像上运行一个bash脚本。

赞(0）回复(0）举报 2个月前

q9yhzks03#

我想要表达同样的观点。
拥有一个简单的笔记本教程，通过几行代码让我们能够根据单个图像、文本和边界框作为输入来评估KOSMOS2,这将是非常重要的。如果没有这个简单的教程，我们将花费大量时间来弄清楚如何将KOSMOS2(而不是交互式应用程序)适应到其他研究项目中。我真诚地希望这项具有影响力的工作能够被越来越多的人认可和利用，从而能够显著促进视觉基础研究社区的发展。然而，将这种模型适应到其他研究项目中的学习曲线似乎是一道障碍。
非常感谢您在开发这项惊人工作方面所付出的巨大努力！

赞(0）回复(0）举报 2个月前

kx7yvsdv4#

非常感谢快速的周转。我想知道是否有任何不使用任何GUI的代码示例。

@yolandalalala@hewenbin

现在，kosmos-2得到了huggingface团队的支持。

赞(0）回复(0）举报 2个月前