最大熵模型

1. 最大熵原理

最大熵原理认为，学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型。

假设离散随机变量$X$的概率分布是$P(X)$，则熵为
$$H(P)=-\sum _{x}P(x)logP(x)$$
熵满足下列不等式：
$$0\le H(P)\le log|X|$$
其中，$|X|$是$X$的取值个数，当$X$服从均匀分布时，熵最大。

例： 假如随机变量$X$有5个取值{A,B,C,D,E}\{A,B,C,D,E\}{A,B,C,D,E}，要估计取各个值的概率$P(A),P(B),P(C),P(D),P(E)$。

解：
这些概率值满足
$$P(A)+P(B)+P(C)+P(D)+P(E)=1$$
满足这个约束条件的概率分布有无穷多个。如果没有任何其他信息，仍要对概率分布进行估计，一个办法就是认为这个分布中取各个值的概率是相等的:
$$P(A)=P(B)=P(C)=P(D)=P(E)=\frac{1}{5}$$

2. 最大熵模型的定义

假设分类模型是一个条件概率分布$P(Y|X),X\in \mathrm{X}\subseteq R^n$表示输入，$Y\in {\rm Y}$表示输出，$\mathrm{X}$和${\rm Y}$分别是输入和输出集合。此模型表示的是对于给定的输入$X$，以条件概率$P(Y|X)$输出$Y$。给定训练集T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}，学习的目标是用最大熵原理选择最好的分类模型。

模型应该满足的条件：可以确定联合分布$P(X,Y)$的经验分布和边缘分布$P(X)$的经验分布，分布以$\tilde{P}(X,y)$和$\tilde{P}(X)$表示。
$$\tilde{P}(X=x,Y=y)=\frac{v(X=x,Y=y)}{N}$$
$$\tilde{P}(X=x)=\frac{v(X=x)}{N}$$
其中，$v(X=x,Y=y)$表示训练样本中样本$(x,y)$出现的频数，$v(X=x)$表示训练样本中输入$x$出现的频数，$N$表示训练样本的容量。

用特征函数$f(x,y)$描述输入$x$和输出$y$之间的某一个事实。定义如下：
$$f(x,y)=\{\begin{array}{l}1,x与y满足某一事实\\ 0,other\end{array}$$
特征函数$f(x,y)$关于经验分布$\tilde{P}(X,Y)$的期望值用$E_{\tilde{P}}(f)$表示：
$$E_{\tilde{P}}(f)=\sum _{x,y}\tilde{P}(x,y)f(x,y)$$
特征函数$f(x,y)$关于模型$P(Y|X)$与经验分布$\tilde{P}(x)$的期望值用$E_P(f)$表示：
$$E_P(f)=\sum _{x,y}\tilde{P}(x)P(Y|X)f(x,y)$$

如果模型能够获取训练数据中的信息，那么就可以假设这两个期望相等。即：
$$E_P(f)=E_{\tilde{P}}(f)$$

最大熵模型: 假设满足所有约束条件的模型集合为：
C={P∈P∣EP(fi)=Ep(fi),i=1,2,...,n}C=\{P \in \Rho|E_P(f_i)=E_p(f_i), \quad i=1,2,...,n\}C={P∈P∣EP​(fi​)=Ep​(fi​),i=1,2,...,n}
定义在条件概率分布$P(Y|X)$上的条件熵为：
$$H(P)=-\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)$$
则模型集合$C$中条件熵$H(P)$最大的模型称为最大熵模型

3. 最大熵模型的学习

对于给定的训练数据集T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}以及特征函数$f_i(x,y),i=1,2,...,n$，最大熵模型的学习等价于约束最优化问题：
$$\begin{gathered} \underset{P\in C}{\max }H(P)=-\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x) \\ s.t.E_P(f_i)=E_{\tilde{P}}(f_i),i=1,2,...,n \\ \sum _{y}P(y|x)=1 \end{gathered}$$
将最大值问题改写为等价的最小值问题：
$$\begin{gathered} \underset{P\in C}{\min }-H(P)=\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x) \\ s.t.E_P(f_i)-E_{\tilde{P}}(f_i)=0,i=1,2,...,n \\ \sum _{y}P(y|x)=1 \end{gathered}$$
引入拉格朗日乘子$w_0,w_1,w_2,...,w_n$，定义拉格朗日函数$L(P,w)$：
$$\begin{gathered} L(P,w)=-H(P)+w_0(1-\sum _{y}P(y|x))+\sum _{i=1}^n{w}_i(E_P(f_i)-E_{\tilde{P}}(f_i)) \\ =\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)+w_0(1-\sum _{y}P(y|x))+ \\ \sum _{i=1}^n{w}_i(\sum _{x,y}\tilde{P}(x,y)f_i(x,y)-\sum _{x,y}\tilde{P}(x)P(y|x)f_i(x,y)) \end{gathered}$$
最优化的原始问题是：
$$\underset{P\in C}{\min }\underset{w}{\max }L(P,w)$$
对偶问题为：
$$\underset{w}{\max }\underset{P\in C}{\min }L(P,w)$$
由于拉格朗日函数$L(P,w)$是$P$的凸函数，所有原始问题的解与对偶问题的解等价。首先求解对偶问题内部的极小化问题${\min }_{P\in C}L(P,w)$。${\min }_{P\in C}L(P,w)$是$w$的函数，记作
$$\Psi (w)=\underset{P\in C}{\min }L(P,w)=L(P_w,w)$$
$\Psi (w)$称为对偶函数，其解记作：
$$P_w=\underset{P\in C}{\mathrm{argmin}}L(P,w)=P_w(y|x)$$

具体地，求$L(P,w)$对$P(y|x)$的偏导
$$\begin{array}{r}\frac{\partial L(P,w)}{\partial P(y|x)}=\sum _{x,y}\tilde{P}(x)(logP(y|x)+1)-\sum _y{w}_0-\sum _{x,y}(\tilde{P}(x)\sum _{i=1}^n{w}_i{f}_i(x,y))\\ =\sum _{x,y}\tilde{P}(x)(logP(y|x)+1-w_0-\sum _{i=1}^n{w}_i{f}_i(x,y))\end{array}$$
令偏导等于0，则有
$$P(y|x)=exp(\sum _{i=1}^n{w}_i{f}_i(x,y)+w_0-1)=\frac{exp({\sum }_{i=1}^n{w}_i{f}_i(x,y))}{exp(1-w_0)}$$
由于${\sum }_{y}P(y|x)=1$，得
$$P_w(y|x)=\frac{1}{Z_w(x)}exp(\sum _{i=1}^n{w}_i{f}_i(x,y))$$
其中
$$Z_w(x)=\sum _{y}exp(\sum _{i=1}^n{w}_i{f}_i(x,y))$$
$Z_w(x)$称为规范化因子；$f_i(x,y)$是特征函数；$w_i$是特征的权值。

$P_w=P_w(y|x)$就是最大熵模型。$w$是最大熵模型中的参数向量。

之后，求解对偶问题外部的极大化问题
$$\underset{w}{\max }\Psi (w)$$
将其解记为$w^{\ast }$，即
$$w^{\ast }=\underset{w}{\mathrm{argmax}}\Psi (w)$$
这里，$P^{\ast }=P_{w^{\ast }}=P_{w^{\ast }}(y|x)$是学习到的最优化模型，即最大熵模型的学习为对偶函数$\Psi (w)$的极大化。

4. 例子分析

假设随机变量 $X$有5个取值 {A,B,C,D,E}\{A, B, C, D, E\}{A,B,C,D,E}，满足约束条件$P(A)+P(B)=\frac{3}{10}$，求取各个值的概率。

解：

用$y_1,y_2,y_3,y_4,y_5$分别表示$A,B,C,D,E$，于是最大熵模型学习的最优化问题为：

引进拉格朗日乘子$w_0,w_1$，定义拉格朗日函数

根据拉格朗日对偶性，可以通过求解对偶最优化问题得到原始最优化问题的解，所以求解
$$\underset{w}{\max }\underset{P}{\min }L(P,w)$$
首先求解$L(P,w)$关于$P$的最小化问题，求偏导并

令其等于0，解得：

于是

再求解$L(P_w,w)$关于$w$的极大值问题：

分别对$w_0,w_1$求偏导并令其为0，得到
$$\begin{gathered} e^{-w_0-w_1-1}=\frac{3}{20} \\ {e}^{-w_0-1}=\frac{7}{30} \end{gathered}$$
于是得到所要求的概率分别为
$$P(y_1)=P(y_2)=\frac{3}{20}$$
$$P(y_3)=P(y_4)=P(y_5)=\frac{7}{20}$$