Segment-and-Track Anything！视频版SAM来了，分割/跟踪/编辑一切，现已开源！
来源丨Cver编辑丨极市平台SAM-Track在单卡上即可支持各种时空场景中的目标分割和跟踪，包括街景、AR、细胞、动画、航拍等，可同时追踪超过200个物体，为用户提供了强大的视频编辑能力。Meta AI的SAM「分割一切」模型展现了强大的图像分割能力，但缺乏对视频数据的支持。近期，浙江大学ReLER实验室的科研人员在最新开源的SAM-Track项目中，解锁了SAM的视频分割能力，即：分割并跟踪一
来源丨Cver
编辑丨极市平台
SAM-Track在单卡上即可支持各种时空场景中的目标分割和跟踪，包括街景、AR、细胞、动画、航拍等，可同时追踪超过200个物体，为用户提供了强大的视频编辑能力。
Meta AI的SAM「分割一切」模型展现了强大的图像分割能力，但缺乏对视频数据的支持。近期，浙江大学ReLER实验室的科研人员在最新开源的SAM-Track项目中，解锁了SAM的视频分割能力，即：分割并跟踪一切（Segment-and-track anything，SAM-track）。SAM-Track在单卡上即可支持各种时空场景中的目标分割和跟踪，包括街景、AR、细胞、动画、航拍等，可同时追踪超过200个物体，为用户提供了强大的视频编辑能力。
项目地址：
https://github.com/z-x-yang/Segment-and-Track-Anything
SAM-Track通过将SAM与最新的高效多物体跟踪算法DeAOT（NIPS2022）结合，能够进行高精度的视频目标分割/跟踪，且可支持全自动和交互式的分割方式。
自动化视频目标分割/跟踪Demo：
交互视频目标分割/跟踪：
1. 通过点击或边界框指定单个目标物体进行分割/跟踪
2. 通过点击添加多个物体进行分割/跟踪
此外，SAM-Track项目还将提供了WebUI，方便用户开箱即用：
目前，项目V0版本已开源，支持全自动视频分割，项目V1版本计划于下周更新，支持交互式视频分割。
项目成员均来自浙江大学计算机学院ReLER实验室。ReLER实验室由浙江大学求是讲席教授杨易于2021年创立。项目成员包括：徐源佑（在读博士），程阳铭（在读硕士），李刘磊（科研助理），杨宗鑫（博士后），王文冠（百人计划研究员），杨易（教授）。
推荐阅读
欢迎大家加入DLer-计算机视觉技术交流群！
大家好，群里会第一时间发布计算机视觉方向的前沿论文解读和交流分享，主要方向有：图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。
进群请备注：研究方向+学校/公司+昵称（如图像分类+上交+小明）
👆 长按识别，邀请您进群！
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
0
0- 0
已为社区贡献170条内容
所有评论(0)