1、信息量（Amount of Information）

对于一个事件：

• 小概率 --> 大信息量

• 大概率 --> 小信息量

• 独立事件的信息量可以相加
  $$I(x)=lo{g}_2(\frac{1}{p(x)})=-lo{g}_2(p(x))$$
  E.g.:

• 一枚均匀的硬币:
  $p(h)=0.5$ $I_p(h)=lo{g}_2(\frac{1}{0.5})=1$
  $p(t)=0.5$ $I_p(t)=lo{g}_2(\frac{1}{0.5})=1$

• 一枚不均匀的硬币:
  $q(h)=0.2$ $I_q(h)=lo{g}_2(\frac{1}{0.2})=2.32$
  $q(t)=0.8$ $I_q(t)=lo{g}_2(\frac{1}{0.8})=0.32$

2、香农熵（Shannon Entropy）

熵（entropy）: 概率分布的预期信息量。它也是不确定性的度量。

假设离散分布，比如伯努利（Bernoulli）分布
连续分布时使用整体
$$H(p)=\sum p_i{I}_i^p=\sum p_{i}lo{g}_2(\frac{1}{p_i})=-\sum p_{i}lo{g}_2(p_i)$$
example: 硬币概率： $p(h)=0.5$, $p(t)=0.5$
$H(p)=p(h)\times lo{g}_2(\frac{1}{p(h)})+p(t)\times lo{g}_2(\frac{1}{p(t)})=0.5\times 1+0.5\times 1=1$

example: 硬币概率： $p(h)=0.2$, $p(t)=0.8$
$H(p)=p(h)\times lo{g}_2(\frac{1}{p(h)})+p(t)\times lo{g}_2(\frac{1}{p(t)})=0.2\times 2.32+0.8\times 0.32=0.72$

3、交叉熵（Cross Entropy）

一枚硬币的ground truth概率： $p(h)=0.5$, $p(t)=0.5$

估计（观察到的）概率概率： $q(h)=0.2$, $q(t)=0.8$

给定估计概率分布，估计真值概率分布的预期信息量:

$$H(p,q)=\sum p_i{I}_i^q=\sum p_{i}lo{g}_2(\frac{1}{q_i})=-\sum p_{i}lo{g}_2(q_i)$$

• 期望值来源于真值概率分布，因为数据始终根据真值概率分布显示
• 信息量使用估计概率分布，因为信息量是我们估计出来的

$q(h)=0.2$ $q(t)=0.8$
$$H(p,q)=p(h)\times lo{g}_2(\frac{1}{q(h)})+p(t)\times lo{g}_2(\frac{1}{q(t)})=0.5\times 2.32+0.5\times 0.32=1.32$$

$q(h)=0.4$ $q(t)=0.6$
$$H(p,q)=p(h)\times lo{g}_2(\frac{1}{q(h)})+p(t)\times lo{g}_2(\frac{1}{q(t)})=0.5\times 1.32+0.5\times 0.74=1.03$$

4、KL散度（Kullback-Leibler Divergence, Relative Entropy）

KL散度是用来衡量两种分布之间的差异的方法

4.1 量化视角看待熵或交叉熵之间差异性

$$\begin{array}{rl}D(p\Vert q)=H(p,q)-H(p)& =\sum p_i{I}_i^q-\sum p_i{I}_i^p\\ & =\sum p_{i}lo{g}_2(\frac{1}{q_i})-\sum p_{i}lo{g}_2(\frac{1}{p_i})\\ & =\sum p_{i}lo{g}_2(\frac{p_i}{q_i})\end{array}$$

$D(p\Vert q)\ge 0$ Gibbs inequality 当且仅当两个分部一样时为0
$D(p\Vert q)\ne D(q\Vert p)$ 不是距离指标

最小化 KL 散度有时等同于最小化交叉熵

$q_{\theta }$是预测的概率分布，p是我们想要的分布。对$\theta$求梯度，${\nabla }_{\theta }H(p)$是常数，求地梯度为0。
$${\nabla }_{\theta }D(p\Vert q_{\theta })={\nabla }_{\theta }H(p,q_{\theta })-{\nabla }_{\theta }H(p)={\nabla }_{\theta }H(p,q_{\theta })$$

4.2 另一种视角看待KL散度：

两种序列的分布需要很相近：
硬币的Ground Truth：

• $p(h)=0.5$
• $p(t)=0.5$$
  硬币的观察（估计）结果：
• $q(h)=0.2$
• $q(t)=0.8$
  现在抛N次，$N_h$ 次head朝上，$N_t$次tail朝上，形成的序列称为seq。
  当N足够大时，$\frac{N_h}{N}$趋近于$p(h)$，$\frac{N_t}{N}$趋近于$p(t)$

$$\begin{array}{rl}& log((\frac{P(seq|p)}{P(seq|q)}{)}^{\frac{1}{N}})=\frac{1}{N}log(\frac{p(h{)}^{N_h}p(t{)}^{N_t}}{q(h{)}^{N_h}q(t{)}^{N_t}})\\ & =\frac{N_h}{N}log(p(h))+\frac{N_t}{N}log(p(t))-\frac{N_h}{N}log(q(h))-\frac{N_t}{N}log(q(t))\\ & =p(h)log(p(h))+p(t)log(p(t))-p(h)log(q(h))-p(t)log(q(t))\\ & =p(h)log(\frac{p(h)}{q(h)})+p(t)log(\frac{p(t)}{q(t)})\end{array}$$

$$D(p\Vert q)=\sum p_{i}log(\frac{p_i}{q_i})=log(\frac{P(sequenceofdistributionp|distributionp)}{P(sequenceofdistributionp|distributionq)})$$