最优化学习 算法收敛性
算法收敛性梯度下降法分析算法收敛性 - 精确线搜索exact line search分析算法收敛性 - 非精确线搜索Inexact line search(Amijo Rule)梯度下降法dk+1=−∇f(xk)d^{k+1}=-\nabla f\left(x^{k}\right)dk+1=−∇f(xk)f(xk+1)−P∗f(xk)−P∗≤1−mM\frac{f\left(x^{k+1}\rig
全部笔记的汇总贴：最优化学习目录
梯度下降法
d k + 1 = − ∇ f ( x k ) d^{k+1}=-\nabla f\left(x^{k}\right) dk+1=−∇f(xk) f ( x k + 1 ) − P ∗ f ( x k ) − P ∗ ≤ 1 − m M \frac{f\left(x^{k+1}\right)-P^{*}}{f\left(x^{k}\right)-P^{*}} \leq 1-\frac{m}{M} f(xk)−P∗f(xk+1)−P∗≤1−Mm ≤ 1 − min { 2 m γ α max , 2 m γ β M } \leq 1-\min \left\{2 m \gamma \alpha_{\max }, \frac{2 m \gamma \beta}{M}\right\} ≤1−min{2mγαmax,M2mγβ} K ∼ log ( f ( x k ) − P ∗ ) 线 性 收 敛 K \sim \log \left(f\left(x^{k}\right)-P^{*}\right) \quad线性收敛 K∼log(f(xk)−P∗)线性收敛
分析算法收敛性 - 精确线搜索exact line search
∀ x ∈ d o m f , M I ⪰ ∇ 2 f ( x ) ⪰ m I \forall x \in d o m f, M I \succeq \nabla^{2} f(x) \succeq m I ∀x∈domf,MI⪰∇2f(x)⪰mI
分析算法收敛性 - 非精确线搜索Inexact line search(Amijo Rule)
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
1
0- 0
已为社区贡献7条内容
所有评论(0)