unilm 在演示中增加更多功能

wz8daaqr  于 2个月前  发布在  其他
关注(0)|答案(7)|浏览(48)

多么令人兴奋的工作!
然而,在线演示或本地托管演示中显示的功能是相同的。只能输入图像,模型提供框和标题。但是,论文提到了许多功能,例如输入相应的框以生成标题。这些功能何时发布?

k5hmc34c

k5hmc34c1#

@ErrorMelody 感谢关注!我们将在将来发布它。
您还可以通过以下几个更改解锁它:

  1. 将 gr.Radio 组件更改为 gr.Text 组件。
  2. 在此处输入 f"[image]{user_image_path}{text_input}"。
  3. 托管它。
  4. 启用采样,然后享受它!
pkbketx9

pkbketx92#

你能具体说说如何在demo/test脚本中将边界框,即锚定令牌放入文本提示中吗?迫不及待地想看到对象描述功能。谢谢!

uqjltbpv

uqjltbpv3#

@ErrorMelody 感谢关注!我们将在将来发布它。
您还可以通过以下几个步骤解锁它:

  1. 将 gr.Radio 组件更改为 gr.Text 组件。
  2. 在此处输入 f"[image]{user_image_path}{text_input}"。
  3. 托管它。
  4. 启用采样,然后享受它!
    嗨,我想了解一下第1步中 gr.Text() 的参数是什么?请麻烦您分享一下好吗?
zsbz8rwp

zsbz8rwp4#

@ErrorMelody 感谢关注!我们将在将来发布它。
您还可以通过以下几个更改解锁它:

  1. 将 gr.Radio 组件更改为 gr.Text 组件。
  2. 在此处输入 f"[image]{user_image_path}{text_input}"。
  3. 托管它。
  4. 启用采样,然后享受它!
    嗨,@pengzhiliang,你能描述一下如何修改 "Grounded question answering" 的代码吗?
yvfmudvl

yvfmudvl5#

@ErrorMelody 感谢关注!我们将在将来发布它。
您还可以通过几个更改解锁它:

1. change the [gr.Radio](https://github.com/microsoft/unilm/blob/874dfed8008ecf6bfc077e161b3fdced8c4fbf8c/kosmos-2/demo/gradio_app.py#L490) component into gr.Text component.

2. inputs = f"[image]{user_image_path}{text_input}" in [here](https://github.com/microsoft/unilm/blob/874dfed8008ecf6bfc077e161b3fdced8c4fbf8c/kosmos-2/demo/gradio_app.py#L348).

3. host it.

4. enable the sampling, and then enjoy it!

我已经在我自己的民间实现了这个功能 https://github.com/sheldonchiu/unilm
您能否具体谈谈如何在演示/测试脚本中将边界框(即,锚定令牌)放入文本提示中?迫不及待地想看到对象描述功能。谢谢!
我制作了一个小工具来轻松测试这个功能( https://sheldonchiu.github.io/kosmos2-prompt-tool/ )
以下是一些快速演示:

  1. 使用我的工具创建一个边界框

  1. 将输出嵌入到您的提示中

示例2:

响应的准确性深刻地受到问题措辞的影响。通过精心制作的提示,结果可能会令人惊叹。感谢您发布这个伟大的模型!

4smxwvx5

4smxwvx56#

@ErrorMelody 感谢关注!我们将在将来发布它。
您还可以通过几个更改解锁它:

1. change the [gr.Radio](https://github.com/microsoft/unilm/blob/874dfed8008ecf6bfc077e161b3fdced8c4fbf8c/kosmos-2/demo/gradio_app.py#L490) component into gr.Text component.

2. inputs = f"[image]{user_image_path}{text_input}" in [here](https://github.com/microsoft/unilm/blob/874dfed8008ecf6bfc077e161b3fdced8c4fbf8c/kosmos-2/demo/gradio_app.py#L348).

3. host it.

4. enable the sampling, and then enjoy it!

我已经在我自己的民间实现了这个功能 https://github.com/sheldonchiu/unilm
您能否具体谈谈如何在演示/测试脚本中将边界框(即,锚定令牌)放入文本提示中?迫不及待地想看到对象描述功能。谢谢!
我制作了一个小工具来轻松测试这个功能( https://sheldonchiu.github.io/ )
以下是一些快速演示:

  1. 使用我的工具创建一个边界框

  1. 将输出嵌入到您的提示中

示例2:

响应的准确性深刻地受到问题措辞的影响。通过精心制作的提示,结果可能会令人惊叹。感谢您发布这个伟大的模型!
你好,请问您的演示是否可以提取句子中的方面?

kyvafyod

kyvafyod7#

@ErrorMelody 感谢关注!我们将在将来发布它。
您还可以通过几个更改解锁它:

1. change the [gr.Radio](https://github.com/microsoft/unilm/blob/874dfed8008ecf6bfc077e161b3fdced8c4fbf8c/kosmos-2/demo/gradio_app.py#L490) component into gr.Text component.

2. inputs = f"[image]{user_image_path}{text_input}" in [here](https://github.com/microsoft/unilm/blob/874dfed8008ecf6bfc077e161b3fdced8c4fbf8c/kosmos-2/demo/gradio_app.py#L348).

3. host it.

4. enable the sampling, and then enjoy it!

我已经在我自己的民间实现了这个功能 https://github.com/sheldonchiu/unilm
您能否具体谈谈如何在演示/测试脚本中将边界框(即,锚定令牌)放入文本提示中?迫不及待地想看到对象描述功能。谢谢!
我制作了一个小工具来轻松测试这个功能( https://sheldonchiu.github.io/ )
以下是一些快速演示:

  1. 使用我的工具创建一个边界框

  1. 将输出嵌入到您的提示中

示例2:

响应的准确性深刻地受到问题措辞的影响。通过精心制作的提示,结果可能会令人惊叹。感谢您发布这个伟大的模型!
@sheldonchiu 提示工具非常有用!

相关问题