在GPT-3 API的文档中，它是One limitation to keep in mind is that, for most models, a single API request can only process up to 2,048 tokens (roughly 1,500 words) between your prompt and completion。
在微调模型的文档中，它是The more training samples you have, the better. We recommend having at least a couple hundred examples. in general, we've found that each doubling of the dataset size leads to a linear increase in model quality。
我的问题是，1,500字的限制是否也适用于微调模型？“数据集大小加倍”是否意味着训练数据集的数量，而不是每个训练数据集的大小？
1条答案
按热度按时间pjngdqdw1#
据我所知...
GPT-3机型有令牌限制，因为只能提供1次提示，只能完成1次，因此，如官方OpenAI article所述：
根据所使用的model，请求可以使用提示符和完成符之间共享的最多4097个令牌，如果提示符是4000个令牌，则完成符最多可以是97个令牌。
然而，微调本身没有令牌限制（即，您可以有一百万个训练示例，一百万个提示-完成对），如官方OpenAI documentation中所述：
训练示例越多越好。我们建议至少使用几百个示例。通常，我们发现数据集大小每增加一倍，模型质量就会线性提高。
但是，每个微调提示-完成对都有令牌限制。每个微调提示-完成对都不应超过令牌限制。