读论文的过程中，看到这个概念：temperature parameter。
$${\mathcal{L}}_n=-log\frac{exp(sim(Z_{ni},Z_{nj})/\tau )}{{\sum }_{n^{\prime }=1,n^{\prime }\ne n}^M(exp(sim(Z_{ni},Z_{n^{\prime }j})/\tau ))}\tau 为温度参数$$

以softmax函数为例，增加温度系数后的效果如下：可以看温度系数越大，曲线越平滑；反之，曲线越尖锐。

import numpy as np
import matplotlib.pyplot as plt
def softmax(x, t=1):
    x = [i/t for i in x] # temperature parameter
    return np.exp(x) / sum(np.exp(x))
x = np.arange(10)
[y1,y2,y3]=[softmax(x, i) for i in [2,1,0.2]]
plt.plot(x, y1, label="t=2")
plt.plot(x, y2, label="t=1")
plt.plot(x, y3, label="t=0.2")
plt.legend()
plt.show()

如果在训练的过程中将温度参数设置比较大，那么预测的概率分布会比较平滑，会导致损失变大，从而梯度也越大，参数更新步长就会较大，避免陷入局部最优解。（为什么会陷入局部最优，对于非凸问题而言，在局部最优点处梯度变化非常小，算法会认为已经收敛）

一般在计算概率时使用温度参数，初始会将温度参数设置较大，随着训练的进行，会将温度参数变小，也叫做“降温”的过程，才更有利于模型收敛。

问题：概率分布的平滑程度，如何影响模型收敛？

参考