FAILED tests/regression_tests/benchmark/test_model_performance.py::test_performance[mercedes_benz_greener.ecd.yaml] - AssertionError: The obtained r2 value (0.32296961545944214) was not within 15.0% of the expected value (0.47405338287353516).
assert 0.15108376741409302 <= 0.07110800743103027
+ where 0.15108376741409302 = abs((0.47405338287353516 - 0.32296961545944214))
+ where 0.47405338287353516 = ExpectedMetric(output_feature_name='y', metric_name='r2', expected_value=0.47405338287353516, tolerance_percentage=0.15).expected_valuehttps://github.com/ludwig-ai/ludwig/actions/runs/3970007361/jobs/6805218517
2条答案
按热度按时间cdmah0mi1#
导致此回归的第一个PR是#2890。
将进行更深入的分析。
a11xaf1n2#
@tgaddair,我在测试开始失败之后查看了PR(#2890),并寻找可能影响训练并导致回归的因素，但没有找到任何东西。我感觉在合并到主分支时运行这些测试并没有帮助我们发现这些回归，所以我建议我们将这些测试移动到推送到分支上运行。它们只占用1m39s(不包括安装),所以无论如何都不会增加太多负担。
带有基准测试修复的PR:#3115