一. 基础知识

1. 马尔可夫假设

马尔可夫过程（Markov Process）是一种随机过程，其中系统的未来状态只依赖于当前状态，而与过去的状态无关

2. 高斯分布的KL散度

KL散度（Kullback-Leibler Divergence）是一种衡量两个概率分布之间差异的指标, 取值范围是$[0,+\infty ]$, 越小说明两个概率分布越相似

KL散度的定义

KL散度的定义为两个概率分布 ( P ) 和 ( Q ) 之间的差异度量，定义如下：
$$D_{\text{KL}}(P\parallel Q)={\int }_{-\infty }^{\infty }p(x)\log \frac{p(x)}{q(x)}dx$$

我们现在将 ( P ) 和 ( Q ) 设为高斯分布，分别表示为：

• $P(x)=\mathcal{N}(x;{\mu }_P,{\sigma }_P^2)$
• $Q(x)=\mathcal{N}(x;{\mu }_Q,{\sigma }_Q^2)$

高斯分布的概率密度函数

$$p(x)=\frac{1}{\sqrt{2\pi {\sigma }_P^2}}\exp \left(-\frac{(x-{\mu }_P{)}^2}{2{\sigma }_P^2}\right)$$

$$q(x)=\frac{1}{\sqrt{2\pi {\sigma }_Q^2}}\exp \left(-\frac{(x-{\mu }_Q{)}^2}{2{\sigma }_Q^2}\right)$$

推导

1. 将高斯分布的密度函数代入KL散度的定义中
   $$D_{\text{KL}}(P\parallel Q)={\int }_{-\infty }^{\infty }p(x)\log \frac{p(x)}{q(x)}dx$$
2. 先计算 $\log \frac{p(x)}{q(x)}$
   $$\log \frac{p(x)}{q(x)}=\log \left(\frac{\frac{1}{\sqrt{2\pi {\sigma }_P^2}}\exp \left(-\frac{(x-{\mu }_P{)}^2}{2{\sigma }_P^2}\right)}{\frac{1}{\sqrt{2\pi {\sigma }_Q^2}}\exp \left(-\frac{(x-{\mu }_Q{)}^2}{2{\sigma }_Q^2}\right)}\right)$$
3. 化简后得到：
   $$\log \frac{p(x)}{q(x)}=\log \frac{\sqrt{{\sigma }_Q^2}}{\sqrt{{\sigma }_P^2}}+\frac{(x-{\mu }_Q{)}^2}{2{\sigma }_Q^2}-\frac{(x-{\mu }_P{)}^2}{2{\sigma }_P^2}$$
4. 代入KL散度的积分公式：

$$\begin{array}{rl}{D}_{\text{KL}}(P\parallel Q)& ={\int }_{-\infty }^{\infty }\frac{1}{\sqrt{2\pi {\sigma }_P^2}}\exp \left(-\frac{(x-{\mu }_P{)}^2}{2{\sigma }_P^2}\right)\left[\log \frac{\sqrt{{\sigma }_Q^2}}{\sqrt{{\sigma }_P^2}}+\frac{(x-{\mu }_Q{)}^2}{2{\sigma }_Q^2}-\frac{(x-{\mu }_P{)}^2}{2{\sigma }_P^2}\right]dx\\ & ={\int }_{-\infty }^{\infty }\frac{1}{\sqrt{2\pi {\sigma }_P^2}}\exp \left(-\frac{(x-{\mu }_P{)}^2}{2{\sigma }_P^2}\right)\log \frac{\sqrt{{\sigma }_Q^2}}{\sqrt{{\sigma }_P^2}}dx+{\int }_{-\infty }^{\infty }\frac{1}{\sqrt{2\pi {\sigma }_P^2}}\exp \left(-\frac{(x-{\mu }_P{)}^2}{2{\sigma }_P^2}\right)\left[\frac{(x-{\mu }_Q{)}^2}{2{\sigma }_Q^2}-\frac{(x-{\mu }_P{)}^2}{2{\sigma }_P^2}\right]dx\end{array}$$

5. 现在进行分布计算
   对于前式:
   $$\begin{array}{rl}前式& ={\int }_{-\infty }^{\infty }\frac{1}{\sqrt{2\pi {\sigma }_P^2}}\exp \left(-\frac{(x-{\mu }_P{)}^2}{2{\sigma }_P^2}\right)\log \frac{\sqrt{{\sigma }_Q^2}}{\sqrt{{\sigma }_P^2}}dx\\ & =\log \frac{\sqrt{{\sigma }_Q^2}}{\sqrt{{\sigma }_P^2}}{\int }_{-\infty }^{\infty }\frac{1}{\sqrt{2\pi {\sigma }_P^2}}\exp \left(-\frac{(x-{\mu }_P{)}^2}{2{\sigma }_P^2}\right)\\ & =\log \frac{\sqrt{{\sigma }_Q^2}}{\sqrt{{\sigma }_P^2}}\\ & =\log \frac{{\sigma }_Q}{{\sigma }_P}\end{array}$$
   对于后式:
   1. 首先将中括号内平方项展开
      $$\begin{gathered} (x-{\mu }_Q{)}^2=x^2-2x{\mu }_Q+{\mu }_Q^2 \\ (x-{\mu }_P{)}^2=x^2-2x{\mu }_P+{\mu }_P^2 \end{gathered}$$
   2. 带入积分中整理得
      $${\int }_{-\infty }^{\infty }\frac{1}{\sqrt{2\pi {\sigma }_P^2}}\exp \left(-\frac{(x-{\mu }_P{)}^2}{2{\sigma }_P^2}\right)\left[\left(\frac{1}{2{\sigma }_Q^2}-\frac{1}{2{\sigma }_P^2}\right)x^2+\left(\frac{{\mu }_P}{{\sigma }_P^2}-\frac{{\mu }_Q}{{\sigma }_Q^2}\right)x+\left(\frac{{\mu }_Q^2}{2{\sigma }_Q^2}-\frac{{\mu }_P^2}{2{\sigma }_P^2}\right)\right]dx$$
   3. 积分中$x^2$的项, 是高斯分布的二阶矩; 积分中$x$的项, 是高斯分布的一阶矩(期望)
      $$二阶矩:{\int }_{-\infty }^{\infty }\frac{1}{\sqrt{2\pi {\sigma }_P^2}}\exp \left(-\frac{(x-{\mu }_P{)}^2}{2{\sigma }_P^2}\right)x^{2}dx={\sigma }_P^2+{\mu }_P^2$$
      $$一阶矩:{\int }_{-\infty }^{\infty }\frac{1}{\sqrt{2\pi {\sigma }_P^2}}\exp \left(-\frac{(x-{\mu }_P{)}^2}{2{\sigma }_P^2}\right)xdx={\mu }_P$$
      所以得到:
      $$后式=\frac{1}{2}\left(\frac{1}{{\sigma }_Q^2}-\frac{1}{{\sigma }_P^2}\right)({\sigma }_P^2+{\mu }_P^2)+\frac{1}{2}\left(\frac{2{\mu }_P}{{\sigma }_P^2}-\frac{2{\mu }_Q}{{\sigma }_Q^2}\right){\mu }_P+\frac{1}{2}\left(\frac{{\mu }_Q^2}{{\sigma }_Q^2}-\frac{{\mu }_P^2}{{\sigma }_P^2}\right)$$
   4. 整理后可得
      $$\begin{array}{rl}后式& =\frac{1}{2}\left[\frac{{\sigma }_P^2+{\mu }_P^2}{{\sigma }_Q^2}-1-\frac{{\mu }_P^2}{{\sigma }_P^2}\right]+\frac{1}{2}\left(\frac{2{\mu }_P^2}{{\sigma }_P^2}-\frac{2{\mu }_P{\mu }_Q}{{\sigma }_Q^2}\right)+\frac{1}{2}\left(\frac{{\mu }_Q^2}{{\sigma }_Q^2}-\frac{{\mu }_P^2}{{\sigma }_P^2}\right)\\ & =\frac{{\sigma }_P^2+{\mu }_P^2-2{\mu }_P{\mu }_Q+{\mu }_Q^2}{2{\sigma }_Q^2}-\frac{1}{2}\\ & =\frac{{\sigma }_P^2+({\mu }_P^2-{\mu }_Q^2{)}^2}{2{\sigma }_Q^2}-\frac{1}{2}\end{array}$$
6. 前式加后式:
   $$D_{\text{KL}}=\log \frac{{\sigma }_Q}{{\sigma }_P}+\frac{{\sigma }_P^2+({\mu }_P^2-{\mu }_Q^2{)}^2}{2{\sigma }_Q^2}-\frac{1}{2}$$

3. 高斯分布的一阶矩与二阶矩

由方差 $\mathrm{Var}(X)=E[X^2]-(E[X]{)}^2$

• $E[X^2]$: 二阶矩
• $E[X]$: 均值

所以二阶矩
$$E(x^2)=\mathrm{Var}(X)+(E[X]{)}^2={\mu }^2+{\sigma }^2$$

4. 重参数化技巧

对于扩散模型中的$x_t$, 是先将向上一步的$x_{t-1}$添加高斯噪声, 再从中采样得到.但是我们可以知道采样是个不可导的过程(采样过程中没有四则运算), 所以我们需要使用重参数化技巧使其可导

对于高斯分布$P=\mathcal{N}(x;{\mu }_P,{\sigma }_P^2)$

如果想要得到P, 就可以先从标准高斯分布中采样得到$z=\mathcal{N}(0,1)$

再由

• $a\ast z=\mathcal{N}(0,a^2)$, $a$是常数
• $c+z=\mathcal{N}(c,1)$, $c$是常数

得: $P={\sigma }_P\ast z+{\mu }_P$

4. 基于马尔科夫假设的条件概率

$$P(X_0,X_1,...,X_n)=P(X_n\mid X_{n-1},...,X_1,X_0)P(X_{n-1},...,X_1,X_0)$$

由马尔科夫假设，有：
$$P(X_n\mid X_{n-1},...,X_1,X_0)=P(X_n\mid X_{n-1})$$
所以：
$$P(X_0,X_1,...,X_n)=P(X_n\mid X_{n-1})P(X_{n-1},...,X_1,X_0)$$

依次展开：
$$\begin{array}{rl}P(X_0,X_1,...,X_n)& =P(X_n\mid X_{n-1})P(X_{n-1}\mid X_{n-2})...P(X_1\mid X_0)P(X_0)\\ & =P(X_0)\prod _{t=1}^{T}P(X_t\mid X_{t-1})\end{array}$$
对于条件概率：

$$\begin{gathered} \begin{array}{rl}P(X_1,X_2,...,X_n\mid X_0)& =\frac{P(X_n\mid X_{n-1})P(X_{n-1}\mid X_{n-2})...P(X_1\mid X_0) \\ P(X_0)}{P(X_0)}\\ & =\prod _{t=0}^{n-1}P(X_{t+1}\mid X_t)\end{array} \end{gathered}$$