调试pytorch框架下训练时出现nan和inf的技巧
·
1.断点技巧之条件断点
(1)表达式:判断表达式,Ture则停止,False继续,比如在某个变量等于nan或inf前停止,然后进入调试。
在表达式中输入如下:
1.torch.isnan(variable).any()
2.torch.isinf(variable).any()
3.torch.isnan(variable).any() or torch.isinf(variable).any()
检查张量元素中是否存在nan或者inf
(2)命中次数:输入次数即可,迭代到某次停止。
variable=2,命中次数为2
(3)日志消息断点:不会打断训练,适合监测变量值,会在调试控制台展示值的变化。
- ex:when i =
{i},loss ={loss}
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)