doccano 新项目类型:用于文本生成用例的评分风格标签,

mftmpeh8  于 2个月前  发布在  其他
关注(0)|答案(5)|浏览(48)

功能描述

对于文本生成模型,如果注解者能够对特定文本生成的质量进行评分,那将是非常好的。例如,请参阅附件中的不同注解工具(Label Studio)的图像:

vof42yt1

vof42yt11#

你会写你的环境吗?谢谢!

ie3xauqp

ie3xauqp2#

这是一个新的项目类型功能请求!与环境关系不大。

whhtz7ly

whhtz7ly3#

@Hironsan 我们对添加这个新功能很感兴趣。我们的用例是图像标题项目,我们希望在评估阶段使用doccano,当人工标注者评估与图像配对的模型生成的标题的质量时。
它应该类似于每个句子的星级分类(评分范围):

并且还有一个选项,如果需要的话可以添加新的文本 - 如果标注者认为没有一个建议的句子足够好地描述了图像,他们可以为图像添加自己的标题。
我们有几个问题:

  1. 你愿意将这个功能添加到doccano吗?
  2. 我们愿意将其作为PR贡献。你觉得一旦PR准备好了,你能否快速推出它,作为一个新版本还是一个中期版本?
  3. 你会审查代码还是其他人?如果是其他人,我们如何联系他们?
  4. 你认为整个过程需要多长时间?
  5. 你愿意就这个功能进行电话讨论吗?通过电话分享我们的想法可能更容易。
    总的来说,我们考虑添加一个新的项目类型来评分图像标题。在这个新的项目类型中,我们将启用导入带有图像和每个图像的句子列表的数据集。每个句子旁边都会有一个星级评分范围 - 标注者必须从5个可能的标签中选择一个:1/2/3/4/5星。此外,还有一个选项可以添加一个新的句子。
    我们很想听听你的意见
5m1hhzi4

5m1hhzi44#

  1. 我有一个添加图片标注任务的计划。在我的计划中,没有星级评分。但我现在正在处理other tasks
  2. 是的。如果PR被合并,我们很快就可以使用Docker(带有nightly标签)的功能。
  3. 是我。
  4. 首先,我们需要明确以下需求:
  • 你是否有多个视角(例如),还是只有一个?
  • 星星是固定在1-5还是可变的(例如0-10)? -> 不适用于你,适用于一般目的。我知道你需要1-5。
  • 有多少步骤(例如,1或0.5)? -> 不适用于你,适用于一般目的。我知道你需要1步。
  1. 抱歉,没有。我可以读/写英语,但不能说。请写下你的想法。一些图片对我会有帮助。
    我刚刚制作了一个不带评分的图片标注原型。我认为这将是评分任务的基础。

相关问题