描述
我正在使用的模型(UniLM,MiniLM,LayoutLM等):Layoutlm我正在尝试使用Layoutlm进行简历解析。我已经对100多份简历进行了标注和训练，目前F1分数约为0.55,准确率约为85%。然而，当我运行推理时，许多文档的文本有很大一部分(集中在底部)没有被分类。我运行推理的简历与那些在训练时使用的格式相似，应该具有相似的边界框位置。为什么layoutlm没有对它们进行分类？如果是过拟合，我该怎么办？示例(模糊以保护个人隐私):
ecr0jaav1#
@DoubtfulCoder,这并不是过拟合。原因是LayoutLM在处理文档时，窗口大小为512个标记。如果你的文档长度超过512个标记，你需要将页面分割成多个样本供模型处理，无论是用于训练还是测试。
eivgtgni2#
感谢你的帮助 @wolfshow 。按令牌，你是指仅仅单词还是它们也指代其他东西？
在训练和推理中如何处理这个长度限制？我看到一些关于滑动窗口方法的东西，每次移动128个字符。你能提供一些示例代码吗？
brjng4g33#
我遇到了类似的问题，尝试更改seq_max_length时，在训练过程中出现了Cuda错误。尝试更改max_position_embeddings = 1024,并在对它们进行分词后将bboxes大小设置为(1024+196+1, 4),但这并没有起作用。
注意：Why 196 + 1
有人能帮帮我吗？
jaxagkaj4#
在训练和推理中，我如何处理这个长度限制？我看到一些关于滑动窗口方法的东西，每次移动128个字符。你能提供一些示例代码吗？
嗨！你解决了吗？
qv7cva1a5#
感谢你的帮助 @wolfshow 。按令牌，你是指仅仅单词还是它们也指代其他内容？在训练和推理中如何处理这个长度限制？我看到一些关于滑动窗口方法的东西，每次移动128个字符。你能提供一些示例代码吗？嗨！你解决了吗？嗨，我没有尝试增加max_position_embeddings,而是使用了滑动窗口方法。基本上，如果单词数量大于315,只需滑动100个字符的窗口(0-300,100-400等),然后汇总预测结果。
5条答案
按热度按时间ecr0jaav1#
@DoubtfulCoder,这并不是过拟合。原因是LayoutLM在处理文档时，窗口大小为512个标记。如果你的文档长度超过512个标记，你需要将页面分割成多个样本供模型处理，无论是用于训练还是测试。
eivgtgni2#
感谢你的帮助 @wolfshow 。按令牌，你是指仅仅单词还是它们也指代其他东西？
在训练和推理中如何处理这个长度限制？我看到一些关于滑动窗口方法的东西，每次移动128个字符。你能提供一些示例代码吗？
brjng4g33#
我遇到了类似的问题，尝试更改seq_max_length时，在训练过程中出现了Cuda错误。尝试更改max_position_embeddings = 1024,并在对它们进行分词后将bboxes大小设置为(1024+196+1, 4),但这并没有起作用。
注意：Why 196 + 1
有人能帮帮我吗？
jaxagkaj4#
感谢你的帮助 @wolfshow 。按令牌，你是指仅仅单词还是它们也指代其他东西？
在训练和推理中，我如何处理这个长度限制？我看到一些关于滑动窗口方法的东西，每次移动128个字符。你能提供一些示例代码吗？
嗨！你解决了吗？
qv7cva1a5#
感谢你的帮助 @wolfshow 。按令牌，你是指仅仅单词还是它们也指代其他内容？
在训练和推理中如何处理这个长度限制？我看到一些关于滑动窗口方法的东西，每次移动128个字符。你能提供一些示例代码吗？
嗨！你解决了吗？
嗨，我没有尝试增加max_position_embeddings,而是使用了滑动窗口方法。基本上，如果单词数量大于315,只需滑动100个字符的窗口(0-300,100-400等),然后汇总预测结果。