在读文章之前,先读Logistic回归,Logistic回归是Softmax回归的特殊情况,即二分类情况。
softmax函数的本质就是将一个K维的任意实数向量压缩(映射)成另一个K维的实数向量,其中向量中的每个元素取值都介于(0,1)之间。
softmax的回归函数是:在这里插入图片描述
写成矩阵的形式如下:
在这里插入图片描述
最后实际求的是:在这里插入图片描述
softmax的损失函数为:
在这里插入图片描述
用梯度下降法求解,对seta求偏导如下。
在这里插入图片描述
seta的迭代公式是:
在这里插入图片描述

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐