11.1 概率无向图模型

11.1.1 模型定义

式子(11.3)推导补充
$$\begin{array}{rl}P(Y_v,Y_O|Y_W)& =P(Y_v|Y_W,Y_O)P(Y_O|Y_W)\\ & =P(Y_v|Y_W)P(Y_O|Y_W)\end{array}$$
两边同时消去$P(Y_O|Y_W)$,因此得到式子(11.3)

11.2 条件随机场的定义与形式

【例题】11.1

11.2.4 条件随机场的矩阵形式

这里主要记录一下矩阵的表示形式，另外两种是比较好理解的

对观测序列x的每一个位置$i=1,2,\cdots ,n+1$，定义一个m阶矩阵(m是标记y的取值个数，$y_{i-1}和y_i$位置上均有m种取值)，举例来说，当m=3时，除了i=1和i=n+1时，每个矩阵$M_i(x)\in R^{3\times 3}$,如下图所示：

由上图知道第一个矩阵和最后一个矩阵不是$m\times m$的，然后参考统计学习书上的例子将其其余部分用0填充变成$m\times m$并且最后一个矩阵的元素应该为1，因为$y_{n+1}$只有一个状态stop。

【例题】11.2

矩阵$M_1(x),M_2(x),M_3(x)中的a,b,c$可以理解为上一章隐马尔可夫模型当中的状态转移矩阵中的值，例如$a_{01}$理解为前一个状态为0，转移到状态为1的概率为$a_{01}$，b,c同样理解，于是就可以理解$M_1(x),M_2(x),M_3(x),M_4(x)$为什么那样写了，至于为什么$M_4(x)中第一列的值为1$也很好理解，因为最后一个状态只能是stop，所以概率就为1了。

状态序列长度为3，每个状态有2种，所以总共有$2^3$种路径，解释一下下图的意思

例如$a_{01}{b}_{11}{c}_{11}$，首先start=0，所以开头都是从0开始，$a_{01}{b}_{11}{c}_{11}$表示的是第一个状态为1，第二个状态为1，第三个状态为1的概率。其他的类似解释，8条路径就把所有可能的路径例举完了。8个式子相加就是所有路径的非规范化概率之和，即规范因子$Z_w(x)$，$M_1(x)M_2(x)M_3(x)M_4(x)$相乘的非零元素也会等于$Z_w(x)$，可以自己验证下。

11.5条件随机场的预测算法

【例题】11.3