机器学习——逻辑回归模型
逻辑回归—考虑二分类任务，其输出标记，而线性回归模型产生的预测值是实值，于是，我们需将实值转换为0/1值。最理想的是“单位阶跃函数”，即若预测值大于零就判为正例，小于零则判为反例，等于零则可任意判别。但是单位阶跃函数不连续，不便于求导估计参数值。于是我们希望找到能在一定程度上近似单位阶跃函数的“替代函数”，并希望它单调可微。Sigmoid函数它将值转化为一个接近0或1的值，并且其输出在附近变化很陡
逻辑回归—考虑二分类任务，其输出标记
，而线性回归模型产生的预测值
是实值，于是，我们需将实值
转换为0/1值。最理想的是“单位阶跃函数”，即若预测值
大于零就判为正例，小于零则判为反例，等于零则可任意判别。
但是单位阶跃函数不连续，不便于求导估计参数值。于是我们希望找到能在一定程度上近似单位阶跃函数的“替代函数”，并希望它单调可微。
Sigmoid函数
它将
值转化为一个接近0或1的
值，并且其输出在
附近变化很陡。由此可以看出Sigmoid函数实际上是在用线性回归模型的预测结果去逼近真实标记，不仅能预测出“类别”，还能得到样本被划为正例或反例的概率。
假设样本类别的概率预测如下：
其中
为样本，
为样本真实输出，
；
以上两式也可整合成一个式子：
通过“极大似然估计”法，我们需要最大化函数
对上式进行求对数运算，得到“对数似然函数”：
最大化
等价于最小化
。这里待估参数为
，继续对
求偏导：
其中
函数表示Sigmoid函数，
表示样本
的第
个属性值；
通过“梯度下降算法”得到
的更新公式：
其中
称为学习率，
表示第
个样本的第
个属性值。
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
0
0- 0
已为社区贡献5条内容
所有评论(0)