ludwig hyperopts overtraining

7hiiyaii 于 2个月前发布在其他

关注(0)|答案(2)|浏览(25)

是否可以根据test或validation的损失来调整hyperopts?由于train的参数很好，我正在经历过度训练，但在test上表现得非常疯狂。
训练统计：

测试统计：

ludwig

来源：https://github.com/ludwig-ai/ludwig/issues/1039

2条答案

按热度按时间

des4xlb01#

你的配置是什么样子的？
在超参数优化部分，你可以指定你想要使用的分割。此外，我认为hyperopt和train通常应该默认使用验证指标。

config = {
    'hyperopt': {
        'split': 'validation',   # this should be set to 'validation' by default, but you can also select 'training' or 'test'
        'goal': 'minimize',
        'output_feature': 'label',
        'metric': 'loss',
        'parameters': {
...

希望这对你有帮助！

赞(0）回复(0）举报 2个月前

cgh8pdjw2#

@michaelbzhu 的回答是正确的。如果你有其他问题，请告诉我 @ifokeev 。
你还可以在每次运行超参数优化时设置用于确定早停的验证指标(用于早停目的)。

赞(0）回复(0）举报 2个月前