loss_func = nn.MSELoss()
loss = loss_func(val, target)

最近在跑一个项目，计算loss时用了很普通的MSE，在训练了10到300个batch时，会出现loss tensor([[nan nan nan nan]]类似的情况。对这个异常的loss进行梯度下降，会导致net的输出变为nan。在网上查了解决方案，都不好用：

• 学习率过大；
• loss过小（或者说除以了0 / 计算了 log(0)）；
• 存在脏数据输入NaN。

试过上述方法，却同样无效的小伙伴可以考虑：

• 自己手写 loss function ，在临界值处改为线性函数，知乎链接：【PyTorch】梯度爆炸、loss在反向传播变为nan；
• 或者参考我下面的方案。

这里我观察了临界值，打了90分钟的print，发现我的问题出在target上。

我的 target 计算公式，可能会得到 inf 的结果，导致无法正常的梯度下降。可以考虑：

• 检查 target 是否正确；
• 计算了 target 后，将其改为自己需要的值，如下。

target[target == float("Inf")] = 0

但请注意该方法在数学上的可行性。