据我所知，GPT-3是通过在所需/测试示例之前包含一些带标签的示例来“训练”特定任务的。在问答中，这包括上下文和问题。在这种情况下，输入提示可能会变长。人们如何解决这个问题？我使用的是Hugging Face GPT-J实现，并且有一个输入令牌限制（2000）。然而，当在提示中包括多个qa示例（特别是上下文）时，它很快就达到了这个限制，限制了要输入的示例提示的数量。有人知道在GPT-J设置中如何处理这个问题吗，特别是对于QA？
pjngdqdw1#
不幸的是，GPT-3和GPT-J都有2048个令牌上下文的限制，对此您无能为力。在我的NLP Cloud API上，我建议的解决方案通常是微调GPT-J。微调GPT-J就像给模型提供大量的上下文。
1条答案
按热度按时间pjngdqdw1#
不幸的是，GPT-3和GPT-J都有2048个令牌上下文的限制，对此您无能为力。
在我的NLP Cloud API上，我建议的解决方案通常是微调GPT-J。微调GPT-J就像给模型提供大量的上下文。