thumos14数据集学习

时序动作定位最常用的数据集有两个。一个是THUMOS-14（Idrees etal.,2017），训练集是UCF-101，包含101类动作；通常在THUMOS-14的验证集上训练，在测试集上查看效果。另一个是ActivityNet-1.3（Heilbron et al.,2015），包含200类动作。

时序动作定位的特征提取模型包括Two-Stream 网络、C3D（Convolutional 3D Network）、I3D（Inflated 3D ConvNet）。时序动作定位的经典检测模型如 S-CNN、TURN、BSN、BMN。

下面是对时序动作定位数据集的分析。

2. THUMOS数据集

2.1来源与种类

THUMOS 数据集由中佛罗里达大学（UCF）团队创建，该系列数据集经历了三个阶段的演进：

THUMOS13：仅包含 UCF101 的裁剪短视频，用于动作分类（101 类）。
THUMOS14：在保留 UCF101 作为训练集的基础上，加入标注动作类别与起止时间的验证集与测试集
THUMOS15：在 2014 年版本的基础上进行了扩展。

thumos14主页	https://www.crcv.ucf.edu/THUMOS14/home.html	THUMOS15_challenge_REGISTERED
thumos15主页	http://www.thumos.info/home.html	THUMOS14_REGISTERED

THUMOS14的下载界面：

https://www.crcv.ucf.edu/THUMOS14/download.html

Dataset, Annotations, Development Kit:
数据集、注释、开发工具包：

Training Data (13320 trimmed videos) -- each includes one action:
训练数据（13320 个剪辑视频） ——每个包含一个动作：

UCF101 videos (zipped folder): [Download] (updated Jul. 27, 2014)
UCF101 视频（压缩文件夹）：[ 下载 ]（2014 年 7 月 27 日更新）
UCF101 videos (individual files): [Link] (updated Jul. 27, 2014)
UCF101 视频（单独文件）：[ 链接 ]（更新于 2014 年 7 月 27 日）
Description of UCF101: [Link]
UCF101 说明：[ 链接 ]
Pre-computed low-level Features (Improved DTF [1]): [Download] (updated Jul. 27, 2014)
预先计算的低级特征（改进型 DTF [1]）：[ 下载 ]（更新于 2014 年 7 月 27 日）
List of action classes and their numerical index: [Download]
动作类列表及其数值索引：[ 下载 ]

Background Data (2500 untrimmed videos) -- each guaranteed to not include any instance of the 101 actions:
背景数据（2500 个未修剪视频）——每个视频保证不包含 101 个动作的任何实例：

Videos (zipped folder): [Download] (updated Jul. 31, 2014)
视频（压缩文件夹）：[ 下载 ]（更新于 2014 年 7 月 31 日）
Videos (individual files): [Link] (updated Jul. 31, 2014)
视频（单独文件）：[ 链接 ]（更新于 2014 年 7 月 31 日）
Metadata and annotations (primary action class for each video): [Download] (updated Jul. 31, 2014)
元数据和注释（每个视频的主要动作类）：[ 下载 ]（更新于 2014 年 7 月 31 日）
Pre-computed low-level Features (Improved DTF [1]): [Download] (updated Jul. 31, 2014)
预计算的低级特征（改进型 DTF [1]）：[ 下载 ]（更新于 2014 年 7 月 31 日）

Validation Data (1010 untrimmed videos) -- each includes one/multiple instances of one/multiple actions:
验证数据（1010 个未修剪视频）——每个数据包含一个或多个作实例：

Videos (zipped folder): [Download] (updated Jul. 30, 2014 - note)
视频（压缩文件夹）：[ 下载 ]（更新于 2014 年 7 月 30 日 - 注）
Videos (individual files): [Link] (updated Jul. 15, 2014)
视频（单独文件）：[ 链接 ]（更新于 2014 年 7 月 15 日）
Metadata and class-level annotations (action classes in each video): [Download] (updated Jul. 30, 2014)
元数据和类级注释（每个视频中的动作类）：[ 下载 ]（更新于 2014 年 7 月 30 日）
Pre-computed low-level Features (Improved DTF [1]): [Download] (updated Jul. 30, 2014)
预先计算的低层特征（改进型 DTF [1]）：[ 下载 ]（更新于 2014 年 7 月 30 日）
Temporal annotations of actions (videos of 20 classes): [Download] (updated Jul. 30, 2014)
动作的时间注释（20 门课视频）：[ 下载 ]（更新于 2014 年 7 月 30 日）

Test Data (1574 untrimmed videos) -- ground truth made available after the competition:
测试数据（1574个未剪辑视频）——比赛后公布的真实情况：

Videos (zipped folder): [Download] (updated Aug. 18, 2014)
视频（压缩文件夹）：[ 下载 ]（更新于 2014 年 8 月 18 日）
Videos (individual files): [Link] (updated Aug. 18, 2014)
视频（单独文件）：[ 链接 ]（更新于 2014 年 8 月 18 日）
Pre-computed low-level Features (Improved DTF [1]): [Download] (updated Aug. 18, 2014)
预计算的低级特征（改进型 DTF [1]）：[ 下载 ]（2014 年 8 月 18 日更新）
Metadata and class-level annotations (action classes in each video): [Download] (updated Oct. 3, 2014)
元数据和类级注释（每个视频中的动作类）：[ 下载 ]（更新于 2014 年 10 月 3 日）
Temporal annotations of actions (videos of 20 classes): [Download] (updated Oct. 3, 2014)
动作的时间注释（20 个课程视频）：[ 下载 ]（2014 年 10 月 3 日更新）

2.2 文件组成

THUMOS14 数据集官方提供了完整的视频文件（.mp4）、动作标注文件（.txt 与 .xgtf）、元数据与视频级标签，以及预计算的 Improved Dense Trajectory Features (iDTF) 特征

2.3视频文件解析

· 格式：.mp4 文件

· 文件命名：video_validation_0000204.mp4

文件数量：验证集1010个

2.4标注文件

2.4.1 txt标注文件

里面有 20 个 .txt 文件，每个动作类别对应一个文件，每一行代表一个动作实例，格式为：

[video_name starting_time ending_time]

video_name：视频文件名，例如 video_validation_0000683

starting_time：动作开始时间（秒，保留 1 位小数）

ending_time：动作结束时间（秒，保留 1 位小数）

video_validation_0000160 155.2 160.6

video_validation_0000160 178.3 186.1

video_validation_0000160 187.0 196.7

2.4.2 XGTF 标注文件

官方提供了原始的 XGTF 标注文件（TH14_Temporal_annotations_validation_ViperXGTF），使用VIPER（Video Performance Evaluation Resource）工具进行标注，文件格式是.xgtf，是xml文件，包含信息有：视频基本信息（帧数、帧率、尺寸等）、类别名称、起止帧号（framespan）。.xgtf需在VIPER工具中打开，配合原始MPEG视频看视频标注。

2.5其他文件

元数据与视频级标签（Metadata and class-level annotations）：包含每个视频所涉及的动作类别，属于视频级标签。没有时间标注，主要用于分类。

预计算特征（Pre-computed low-level Features, Improved DTF）：官方通过 Improved Dense Trajectory Features (iDTF) 提供了视频的预计算低层特征。

2.6与模型匹配

在弱监督时序动作定位（Weakly Supervised Temporal Action Localization, WTAL）任务中，THUMOS14 数据集通常按如下方式使用：

训练阶段：使用 .mp4 视频文件作为输入，通过 I3D 网络提取 RGB 特征与光流特征，结合数据集中提供的视频级标签（包含视频名称及对应的动作类别）进行训练。

测试阶段：利用包含动作类别与具体起止时间的时序标注文件（temporal annotation）进行评估，验证模型在未剪辑视频上预测动作区间的准确性。

2.7 THUMOS14 定位任务的 20 个动作类别

THUMOS14 从 UCF101 的 101 个动作类别中挑选出 20 个，重新做了未裁剪长视频的收集与标注。

类别 ID	类别名称	中文翻译（参考）
7	BaseballPitch	棒球投球
9	BasketballDunk	篮球扣篮
12	Billiards	台球
21	CleanAndJerk	举重挺举
22	CliffDiving	悬崖跳水
23	CricketBowling	板球投球
24	CricketShot	板球击球
26	Diving	跳水
31	FrisbeeCatch	飞盘接力
33	GolfSwing	高尔夫挥杆
36	HammerThrow	链球
40	HighJump	跳高
45	JavelinThrow	标枪
51	LongJump	跳远
68	PoleVault	撑杆跳
79	Shotput	铅球
85	SoccerPenalty	足球点球
92	TennisSwing	网球挥拍
93	ThrowDiscus	掷铁饼
97	VolleyballSpiking	排球扣球

3.1 BaseballPitch（棒球投球，UCF101 类别 ID: 7）

动作简介：棒球投手从准备到完成投球的全过程。
动作特点：抬腿准备 → 挥臂 → 球出手
截图展示

3.2 BasketballDunk（篮球扣篮，UCF101 类别 ID: 9）

动作简介：篮球运动员在空中将球扣入篮筐的过程。
动作特点：包含起跳→ 空中持球 → 扣球，动作时间通常只有1-2秒
数据情况：，BasketballDunk 常见于比赛场景，容易与普通跑动、投篮背景混淆。动作较快。
截图展示：

3.3 Billiards（台球，UCF101 类别 ID: 12）

动作简介：台球选手用球杆击打母球的动作。
动作特点：瞄准准备 → 出杆击球。动作时间通常有5秒。
数据情况：在 THUMOS14 中，Billiards 多为室内场景，背景稳定，但击球瞬间动作幅度较小。

3.4 CleanAndJerk（举重挺举，UCF101 类别 ID: 21）

动作简介：举重运动员完成从抓起杠铃到将其举过头顶的动作。
动作特点：抓起 → 抬至肩部 → 挺举过头顶 → 稳定。动作时间通常有10-20秒。
数据情况：背景清晰，动作边界清晰
截图展示：

3.5 CliffDiving（悬崖跳水，UCF101 类别 ID: 22）

动作简介：运动员从高处或悬崖跳入水中的动作。
动作特点：准备起跳 → 腾空 → 入水。动作时间通常有3-4秒。
数据情况：背景复杂（如海边、悬崖），动作变化大，但整体时序清晰，易于标注。
截图展示：

3.6 CricketBowling（板球投球，UCF101 类别 ID: 23）

动作简介：板球投手以奔跑助力并将球投向击球手的过程。
动作特点：助跑 → 手臂大幅度挥动 → 投球出手。动作时间通常1-2秒。
数据情况：动作幅度大，速度快，与 CricketShot（板球击球） 同场出现，助跑部分容易与普通跑动背景混淆。
截图展示：

3.7 CricketShot（板球击球，UCF101 类别 ID: 24）

动作简介：板球击球手挥动球棒击打来球的过程。
动作特点：准备站姿 → 挥棒击球。时间特别短，通常为1s
数据情况：在 THUMOS14 中，CricketShot 和 CricketBowling 经常在同一视频中连续出现，需要模型区分不同角色的动作。

3.8 Diving（跳水，UCF101 类别 ID: 26）

动作简介：运动员从跳台或跳板起跳，完成空中姿态变化并入水的动作。
动作特点：起跳 → 空中翻转/伸展 → 入水。时长1-2s
数据情况：在 THUMOS14 中，Diving 视频背景较为统一，多为泳池场景。和悬崖跳水有部分重复，大多场景是在泳池
截图展示：

3.9 FrisbeeCatch（飞盘接力，UCF101 类别 ID: 31）

动作简介：飞盘从一人手中抛出后，被另一人成功接住的过程。
动作特点：一个人扔飞盘 →另一个人（奔跑后）接飞盘，持续时间较短
数据情况：在 THUMOS14 中，FrisbeeCatch 多出现在户外场景，伴随多人运动。
截图展示：

3 ActivityNet数据集

目前最大的数据库，包含分类和检测两个任务。这个数据集仅提供视频的youtube链接，而不能直接下载视频，所以还需要用python中的youtube下载工具来自动下载。

3.1 来源与种类

ActivityNet 数据集 由 Heilbron 等人于 2015 年在 CVPR 上提出，是一个用于大规模视频动作识别与时序动作定位的公开基准数据集。

ActivityNet v1.2：包含 100 类动作、13,000 多个视频，总时长约 800 小时。

ActivityNet v1.3：扩展至 200 类动作、约 20,000 个视频，总时长约 648 小时，是目前主流版本。

官网主页：https://activity-net.org

3.2 文件组成

ActivityNet 数据集官方提供：

视频文件（.mp4）
标注文件（.json）
元数据（类别层级结构、视频统计信息）
预计算特征（C3D、I3D 提取的 RGB 与光流特征）

支持分类（Action Recognition）和时序动作定位（TAL）两类任务。

3.3 视频文件解析

格式：.mp4 文件
文件命名：以视频 ID 命名
数量：v1.3 版本共约 20,000 个视频，总时长 648 小时。
划分：训练集（training）、验证集（validation）、测试集（testing）。

3.4 JSON标注文件

文件名：activity_net.v1-3.min.json

文件内容："v_QOlSCBRmfWY": {

"duration_second": 82.73,

"duration_frame": 2067,

"annotations": [

{"segment": [6.195294851794072, 77.73085420904837], "label": "Ballet"}

"feature_frame": 2064

}

字段含义：

视频ID、视频时长、视频总帧数、动作发生的时间区间、动作类别、特征帧数

下载地址：https://github.com/wzmsltw/BSN-boundary-sensitive-network/tree/master/data

3.5 其他文件

4.5.1 预计算特征文件（Pre-computed Features）

官方提供基于 C3D 和 I3D 模型提取的 RGB 与光流特征

3.6 与模型匹配

在 时序动作定位（TAL） 与 弱监督时序动作定位（WTAL） 任务中，ActivityNet 常被用作模型验证的标准大规模基准：

训练阶段：
使用 .mp4 视频或预计算的 I3D/C3D 特征作为输入，结合 JSON 文件中的类别标签进行监督训练。对于弱监督任务，仅使用视频级标签训练模型以推断时间边界。
测试阶段：
使用提供的时间标注文件验证模型的预测边界精度，常以 t-IoU 与 mAP 作为评估指标。

4.评价指标

本研究采用 mean Average Precision (mAP) 作为主要评价指标。

在不同时间交并比 (t-IoU = 0.1~0.7) 下分别计算 mAP@tIoU，

并对全部阈值取平均得到 Average mAP，

魔乐社区

魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。

更多推荐

小参数・大码力・易部署 | Qwen3.6-27B上线魔乐社区，基于昇腾的部署教程来了

继一周前模型开源发布后，千问再度开源Qwen3.6-27B —— 一个拥有270亿参数的稠密多模态模型，也是社区呼声最高的模型规格。Qwen3.6-27B 依然支持多模态思考与非思考模式，在智能体编程方面达到了旗舰级表现，全面超越前代开源旗舰 Qwen3.5-397B-A17B（总参数397B / 激活参数17B的MoE模型）。作为稠密架构，它无需MoE路由即可部署，是开发者在实用、可广泛部署规模