0. 前言

  • 相关资料:
  • 论文基本信息
    • 领域:姿态估计
    • 作者单位:卡耐基梅隆大学
    • 发表时间:2016 CVPR
  • 一句话总结:(单人)姿态估计的奠基之作,使用热力图的方式表示关键点结果,使用多stage细化关键点结果,每个stage都添加loss抑制梯度消散。

1. 要解决什么问题

  • 使用卷积网络解决姿态估计问题。
  • 这论文比较早了,感觉类似于图像分割中的FCN。

2. 用了什么方法

  • 虽然没看过,但应该有一篇论文叫 Pose Machine,CPM应该就是在Pose Machine的基础上使用卷积作为特征提取方式。
  • 总体结构
    • a/b应该是pose machine的结构
      • 感觉就是定义了姿态估计问题的基本解法?
      • 每个stage都预测所有关键节点的位置,通过分类实现,类别数量为 P+1,P为关键点数量。
      • 预测的heatmap尺寸与输入图片一样。
      • 每个stage都输出关键点,随着stage的叠加,结果也越来越细化。
      • 有中间的辅助loss,可以使得抑制梯度消失的问题。
    • c/d应该是CPM的结构。
      • 从现在看,感觉也没有什么忒别的。
      • 中间有很多辅助loss
      • 每一个stage的输入都是由上一stage的输出再加上一个辅助输入叠加。
    • image-20201222103400283

3. 效果如何

  • 查看梯度消散的问题

    • 红色的是没有中间层loss的情况,黑色是有中间层loss的情况
    • image-20201222113207308
  • 对比各个stage的结果

    • image-20201222113130705
  • 性能对比(当时的sota都没有什么意义了)

    • image-20201222113331476

4. 还存在什么问题&可借鉴之处

  • 16年论文能咋看,应该是基础了吧,有用的后面会一直使用。
  • 热力图的方式展示姿态估计结果,应该是很6了。
  • 这是单人姿态估计的工作。
Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐