PaddleHub 关于autodl的问题

o2gm4chl 于 5个月前发布在其他

关注(0)|答案(3)|浏览(48)

请问在使用超参数优化算法时，在yaml文件中设置了超参数的搜索范围。但是在查看logfile时发现初始超参数与一开始设置的并不相同，这是为什么？

例如，这里的几个logfile第一行：
0.00294537212956999 32 118 hazero-se_resnext50_32-result//round0/model-0/
0.0013542832689864394 29 104 hazero-resnext50_64-result//round0/model-0/
这里的学习率、batchsize和epoch并不是与设置的初始值一样。

PaddleHub

来源：https://github.com/PaddlePaddle/PaddleHub/issues/1369

3条答案

按热度按时间

eh57zj3b1#

\n\n你好，初始化时的超参数是在设定的初始值周围波动的，具体细节可以参考以下链接：\n* 有关autodl 超参数优化的问题 #1318 (comment)\n* PaddleHub 超参优化（AutoDL Finetuner）

赞(0）回复(0）举报 5个月前

6ioyuze22#

您好，感谢回答，但是看这个 https://github.com/PaddlePaddle/PaddleHub/blob/release/v1.8/docs/tutorial/autofinetune.md我也看不出具体初始值是如何波动的，符合什么噪声的规律吗？还是有特定的波动规律？

赞(0）回复(0）举报 5个月前

4sup72z83#

关于初始值的获取和数值的确定，可以查看以下几个接口：

PaddleHub/paddlehub/autofinetune/evaluator.py 文件中的第62行到第80行，分别是 get_init_params 函数。
PaddleHub/paddlehub/autofinetune/evaluator.py 文件中的第97行到第114行，分别是 convert_params 函数。
PaddleHub/paddlehub/autofinetune/autoft.py 文件中的第261行到第278行，分别是 get_current_hparams 函数。

赞(0）回复(0）举报 5个月前

我来回答

PaddleHub 关于autodl的问题

3条答案

相关问题

热门标签

最新问答