Two-Stream Adaptive Graph Convolutional Networks for Skeleton-Based Action Recognition

论文链接：

https://arxiv.org/abs/1805.07694​arxiv.org

代码链接：

lshiwjx/2s-AGCN​github.com

跟AS-GCN相同，这篇论文也是对ST-GCN的改进，同样是2019年发表在CVPR上面的文章。论文提出一个双流自适应图卷积网络（2s-AGCN）。从名字可以看出，文章主要创新点有两个，一个是双流网络，另外一个是自适应性。

首先，老一套，先回顾一下ST-GCN的结构，这部分我在之前的文章写了，这里打一下广告，有兴趣可以看一下：

哀殿：【骨骼行为识别】ST-GCN论文理解​zhuanlan.zhihu.com

我们只介绍ST-GCN的整体公式，如下图公式（2）。

在说本篇论文的创新前，先说明一下ST-GCN的缺点。ST-GCN的注意力机制灵活性不够，掩码

下面介绍的是针对ST-GCN的第一个缺点进行的改进。2s-AGCN提出来的自适应图卷积的主要公式如下图公式（3）

从公式（3）可以看到，相比于ST-GCN，2s-AGCN对邻接矩阵进行了改进。这里的邻接矩阵是三个部分之和。

第一部分

第二部分

第三部分

其实关于

编码后的

针对于双流法中的另外一个分支，输入的数据是骨骼的长度和方向。长度和方向看起来比关节坐标要复杂，其实很简单。首先寻找一个人体骨骼的重心，就是人胸腔部分作为中心点，因为每个骨骼都有两个点，把靠近中心点的关节看做源关节，远离中心点的关节看做目标关节。所以说关节就是点，骨骼就是从一个点指向另外一个点的向量，向量的长度就是骨骼的长度，向量的方向就是骨骼的方向。

这样另外一个分支流的输入数据就明朗了，因为骨骼是两个关节组成一个骨骼，而且没有环状的图，所以关节数比骨骼数多1个。这里添加一个值为0的空关节，这样关节数与骨骼数就相同，网络也相同。最后双流法的框架如下图。

总的来说这篇论文比较好理解，思路也比较明确，针对ST-GCN的两个缺点进行改进，提出两个创新点。作者提到的用相加取代相乘的注意力机制是一种很好的创新，另外就是利用骨骼的长度和方向也是最近两年开始使用的。