1.4 梯度下降法（GradientDescent Optimization)

代码如下：

import numpy as np
import matplotlib.pyplot as plt

if __name__ == '__main__':
    plot_x = np.linspace(-1, 6, 141)   # 在-1到6之间取141个点
    plot_y = (plot_x - 2.5) **2 -1     # 二次方程的损失函数
    plt.scatter(plot_x[5],plot_y[5],c='r')
    plt.plot(plot_x,plot_y)
    plt.xlabel('theta')
    plt.ylabel('损失函数')
    plt.show()

运行结果：

其中x轴是我们待学习的参数θ(theta)，y轴是损失函数的值，曲线y表示的是损失函数 

而我们的目标就是获得的θ使得损失函数最小，可以通过求导的方式，达到二次函数的最小值点，即：

     

其中J表示损失函数，θ为待求解的参数

梯度下降中有个比较重要的参数：学习率n(读作eta),它控制着模型寻找最优解的速度。加入学习率后其数学表达式为:

梯度下降的过程代码：

import numpy as np
import matplotlib.pyplot as plt



if __name__ == '__main__':
    plot_x = np.linspace(-1, 6, 141)   # 在-1到6之间取141个点
    plot_y = (plot_x - 2.5) **2 -1     # 二次方程的损失函数
#     plt.scatter(plot_x[5],plot_y[5],c='r')
#     plt.plot(plot_x,plot_y)
#     plt.xlabel('theta')
#     plt.ylabel('损失函数',fontproperties = 'simHei',fontsize = 15)
#     plt.show()

# 损失函数
def J(theta):
    return (theta - 2.5) **2 -1

# 损失函数的导数
def DJ(theta):
    return 2*(theta-2.5)

theta =0.0 #初始点
theta_history =[theta]
eta = 0.1  # 步长（学习率）
epsilon = 1e-8  # 精度问题或者eta的设置无法使得导数为0

while True:
    gradient = DJ(theta)
    last_theta = theta # 记录上一个theta的值
    theta = theta - eta*gradient  #更新theta的值 也就是梯度下降
    theta_history.append(theta)
    if(abs(J(theta) - J(last_theta))< epsilon):  #当两个theta的值非常接近的时候，终止循环
        break
plt.plot(plot_x,J(plot_x),c='r')
plt.plot(np.array(theta_history),J(np.array(theta_history)),c='b',marker ='X')
plt.show()
print(len(theta_history))

 使用步数46

运行结果：

学习率n对梯度下降的影响：

第一个例子，我们将n设计为0.01(之前是0.1),运行结果如图所示：

蓝色的标记更加密集，从起点走到导数为0的步数更多了，变为424，整个学习的速度变慢了

第二个例子，我们将n设计为0.08(之前是0.1),运行结果如图所示：

 此时蓝色标记的步长发生了跳跃，但是损失函数的值不断在减少，步数为22，学习速度变快了

第三个例子，我们将n设计为1.1(之前是0.1),运行结果会报错”Result too large“，因此修改代码：

def J(theta):
    try:
        return (theta - 2.5) ** 2 - 1
    except:
        return float('inf')  # 正无穷


i_iter = 0
n_iter = 10
while i_iter < n_iter:
    gradient = DJ(theta)
    last_theta = theta  # 记录上一个theta的值
    theta = theta - eta * gradient  # 更新theta的值 也就是梯度下降
    i_iter += 1
    theta_history.append(theta)
    if abs(J(theta) - J(last_theta)) < epsilon:  # 当两个theta的值非常接近的时候，终止循环
        break

运行结果：

 可以看出损失函数不断增大，所以模型不会找到最优解