请提出你的问题
我有两个问题：
为什么在中文数据集的效果上，utc-large还比不上uct-base?我测试了三个数据集，两个开放数据集和一个自己的数据集，基本上都是这样的结论。utc-large和utc-base应该是只有训练的语料库不一样，utc-large参数量越大，反而效果越差。
utc-base和utc-large的基座模型是erine3.0吗？按照usm的论文描述，训练格式和微调格式是一样的，那是不是可以认为预训练和微调的代码都是run_train.py,只不过是基座模型不一样。如果是这样的话，想问问erine3.0到utc中使用了哪些中文的分类数据集呢？
2条答案
按热度按时间vbkedwbf1#
同问
tjrkku2a2#
效果不佳的原因可能与学习率等因素有关，模型越大越容易过拟合，需要的数据就越多。此外，目前尚未计划开放utc-base中文模型训练细节。