aim 程序在创建运行时崩溃,

slhcrj9b 于 2个月前发布在其他

关注(0)|答案(2)|浏览(22)

在没有互联网的计算节点上启动的部分作业在创建Aim运行时失败。根据我的作业日志，它似乎在这个线上挂了大约8-9分钟。这是一个示例错误信息：https://gist.github.com/dapatil211/5c94906c6e77b63b16e7e4ae442b6e31

在没有互联网的节点上运行：
run = Run(repo=os.environ.get("AIM_REPO", None), experiment=project_name)

作业不应该崩溃。

2条答案

抱歉给您带来不便，@dapatil211
@alberttorosyan 您认为这可能是分段/遥测吗？

不用担心，我正在尝试关闭遥测并查看是否仍然存在问题。此外，我在工作日志中误读了时间间隔，它只挂起约一分钟。我还查看了日志，其中27/75个提交的任务存在此问题，22/75个因其他原因崩溃(这是我的错误),其余任务似乎运行正常。