凸优化理论是学习线性回归的时候就会用到的数学知识，利用凸优化的理论，可以求出最佳的参数值（解析解）使得损失函数最小，也可以证明梯度下降优化算法是有效地。

优化与DL

  1. 优化与估计
    尽管优化方法可以最小化深度学习中的损失函数值，但本质上优化方法达到的目标与深度学习的目标并不相同。
    优化方法目标：训练集损失函数值
    深度学习目标：测试集损失函数值（泛化性）
  2. 优化在DL中遇到的问题
    局部最小值
    在这里插入图片描述
    鞍点
    在这里插入图片描述
    梯度消失
    在这里插入图片描述

凸优化

记住这样的结论就够了：

  1. 凸函数有全局最小值，一阶导等于0的地方；
  2. 凸函数与二阶导一直大于等于0为充分必要条件。

有些话说

一些问题：

  1. DL常用的交叉熵损失函数是凸函数吗？
# 深度学习 # 机器学习 # 算法
Logo
魔乐社区

魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。

更多推荐

小参数・大码力・易部署 | Qwen3.6-27B上线魔乐社区，基于昇腾的部署教程来了

继一周前模型开源发布后，千问再度开源Qwen3.6-27B —— 一个拥有270亿参数的稠密多模态模型，也是社区呼声最高的模型规格。Qwen3.6-27B 依然支持多模态思考与非思考模式，在智能体编程方面达到了旗舰级表现，全面超越前代开源旗舰 Qwen3.5-397B-A17B（总参数397B / 激活参数17B的MoE模型）。作为稠密架构，它无需MoE路由即可部署，是开发者在实用、可广泛部署规模

avatar 魔乐社区
cover

量化挑战赛冠军专访：4小时啃下W4A8量化，我靠的是这些经验

avatar 魔乐社区
cover

替你试过了，消费级显卡可以跑的开源文生图SOTA模型，顶级渲染、高密度文本绘图

avatar 魔乐社区