【论文阅读-姿态估计】CVPR2021_CanonPose: Self-Supervised Monocular 3D Human Pose Estimation in the Wild
·
本文将介绍一篇基于自监督的3D人体姿态估计方法,作者来自德国汉诺威大学和加拿大英属哥伦比亚大学。
论文链接:https://arxiv.org/abs/2011.14679
代码链接: 尚未公开
主要思想:
本文提出了一个利用多视角2D图像估计3D人体姿态的模型,主要框架如下图所示。
首先将同一姿态不同视角下的图像分别输入两个共享权重的Lifting网络,这部分网络输出为两个分支,一个分支输出标准坐标下的3D姿态(outputs a 3D pose in a canonical rotation),另一个分支输出为相机方向(camera orientation),预测的相机方向用来将预测的3D姿态旋转回相机坐标系下的2D姿态。
如果两个网络对3D姿态和相机方向预测比较准的话,第一个网络预测得到的3D姿态结合第二个网络预测的相机方向结合应该能获得第二个网络输入图的2D姿态,这样就可以根据2D的姿态标签来对网络进行训练获取3D姿态了。

本文模型的框架图
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)