我们能否微调layoutLM以获得最大输入序列长度>512。请让我知道这是否可能。如果不是在当前架构下,那么我如何使用其他语言模型(其原始架构是在这些任务上训练的)来执行预训练任务(任务),其中输入序列长度大于512(例如1024)。
ny6fqffe1#
请查看此处使用的架构,BERT大型模型负责序列长度限制。如果您对探索序列长度限制感兴趣,可以查看长格式生成文本嵌入。
1条答案
按热度按时间ny6fqffe1#
请查看此处使用的架构,BERT大型模型负责序列长度限制。
如果您对探索序列长度限制感兴趣,可以查看长格式生成文本嵌入。