I trained LayoutLM for my dataset and I am getting predictions at the word level like in the image "ALVARO FRANCISCO MONTOYA" is true labeled as "party_name_1" but while prediction "ALVARO " is tagged as "party_name_1", "FRANCISCO" is tagged as "party_name_1", "MONTOYA" is tagged as "party_name_1". In short, i am getting prediction for each word but how to save these prediction as one predicted output like "ALVARO FRANCISCO MONTOYA" as "party_name_1". How to save this as a single output?
Any help would be greatful.
Below image is the predicted output image from LayoutLM.
9条答案
按热度按时间ev7lccsx1#
karndeepsingh,你找到了解决这个问题的方法吗？我也遇到了同样的问题，不知道如何将这些结果连接起来。
waxmsbnn2#
@karndeepsingh 你找到解决这个问题的方法了吗？我也遇到了同样的问题，不知道如何将这些结果连接起来。
没有！还在研究中。如果你找到了什么，请告诉我。
jchrr9hc3#
你可以使用IOB类似的标记：https://en.wikipedia.org/wiki/Inside%E2%80%93outside%E2%80%93beginning_(tagging)
pkbketx94#
你可以使用IOB类似的标注：https://en.wikipedia.org/wiki/Inside%E2%80%93outside%E2%80%93beginning_(tagging)
有任何可用的参考代码来实现它。
谢谢
zwghvu4y5#
请查看常用的数据集，如FUNSD/XFUND。在您的示例中，它简化为训练模型识别
B-party_name_1和I-party_name_1,而不是party_name_1,这样标记的tokensALVARO FRANCISCO MONTOYA将分别标记为B-party_name_1 I-party_name_1 I-party_name_1(换句话说，您将知道一个单独的party_name_1实体从ALVARO到MONTOYA)。xqkwcwgp6#
感谢stjaco的这个建议，我想我会尝试使用BILUO进行标记。尽管在完成此操作后，获取多行字段(如地址)可能仍然会很痛苦。
dxpyg8gm7#
感谢stjaco的分享，我想我会尝试使用BILUO进行标记。尽管在这样做之后，获取多行字段(如地址)仍然可能是个麻烦。
你有没有找到任何方法来实现所需的输出？
63lcw9qa8#
你好@karndeepsingh,
我也在做类似的事情，我想问你是如何将预测结果保存到文本文件/csv中的。
你能解决这个问题吗？我正在使用BIOES标注。但再次解决这个问题是一件痛苦的事情。
也许你可以合并属于同一个实体的输出。
或者在使用pytesseract时，你可以这样预处理：
https://stackoverflow.com/questions/69614122/tesseract-opencv-python-how-to-get-bounding-box-for-a-sentence-or-same-line-o
我想问你，你用什么工具来标注你的数据？
aor9mmx19#
感谢stjaco的分享，我想我会尝试使用BILUO进行标记。尽管在这样做之后，获取多行字段(如地址)仍然可能是个麻烦。
你有没有找到实现所需输出的方法？
有任何更新吗？