unilm Inference with LayoutXLM

jhiyze9q 于 2个月前发布在其他

关注(0)|答案(2)|浏览(65)

LayoutXLM模型是否应该针对键值提取进行两次推理？

你好，我正在使用LayoutXLM模型进行医疗病例图片中的文档理解任务。在我的场景中，我需要同时获得语义实体识别和关系提取的结果。我的问题是，发布的layoutxlm代码将ser和re任务分开，以管道格式呈现。因此，LayoutXLM是否应该分别进行两次推理？是否有一个联合模型可以在推理时同时处理这两个任务，以便我们可以将数据只输入一次到layoutxlm?

unilm

来源：https://github.com/microsoft/unilm/issues/895