视频理解 (Video Understanding)
概述
视频理解是计算机视觉的核心任务之一，研究如何让 AI 系统理解视频中的时空信息。与图像理解相比，视频理解需要额外处理时间维度的建模：动作的时序演化、事件的因果关系、长程依赖等。视频理解涵盖动作识别、事件检测、视频描述、时序推理等任务，是智能监控、内容审核、人机交互等应用的基础。
核心原理
视频理解的核心在于时空特征提取与时序建模。空间维度捕捉单帧内的物体、场景、纹理；时间维度捕捉帧间的运动、变化与因果。早期工作将视频视为帧序列，分别提取空间特征后聚合；现代方法则采用 3D 卷积、双流网络或 Transformer 直接在时空维度上联合建模。
另一关键原理是多尺度时序建模。短视频（数秒）与长视频（数分钟至数小时）需要不同的建模策略：短视频可对整个序列建模，长视频需采样、分段或层次化处理，以平衡计算成本与信息保留。
关键技术
时空特征提取：3D 卷积（C3D）直接在时空维度上卷积；双流网络分别处理 RGB 帧与光流，融合外观与运动信息；SlowFast 采用双速率设计，慢路径捕捉空间语义，快路径捕捉运动；TimeSformer、ViViT 将 Transformer 扩展到视频，通过时空注意力建模长程依赖。
时序建模：时序注意力实现跨帧信息聚合；时序卷积网络（TCN）用一维因果卷积处理序列；状态空间模型（SSM）如 Mamba 以线性复杂度建模长序列。
视频-语言模型：VideoBERT 等早期工作将视频与文本联合预训练；Video-LLaVA、InternVideo 等将大语言模型与视频编码器结合，支持视频问答、描述、检索等任务。
代表性工作
| 模型/方法 | 类型 | 主要贡献 |
|---|---|---|
| C3D | 3D 卷积 | 时空卷积网络，动作识别基线 |
| Two-Stream | 双流 | RGB + 光流，融合外观与运动 |
| SlowFast | 双速率 | 慢快双路径，高效时空建模 |
| TimeSformer | Transformer | 视频 Transformer，时空分离注意力 |
| Video-LLaVA | 视频-语言 | 大模型驱动的视频理解与对话 |
| InternVideo | 视频基础模型 | 通用视频预训练，多任务支持 |
应用场景
- 智能监控：异常行为检测、人群密度估计、安全事件预警。
- 内容审核：违规内容识别、暴力与不良信息过滤。
- 视频检索与推荐：根据内容理解进行语义检索，提升推荐准确性。
- 人机交互：手势识别、动作指令理解、具身 AI 的视觉输入。
- 体育与医疗：动作分析、康复评估、手术视频理解。
- 自动驾驶：交通参与者行为预测、场景理解。
发展趋势
- 长视频理解：处理数小时的长视频内容，如电影、直播、监控录像，需要高效的采样与层次化建模。
- 开放世界视频理解：识别训练集中未见过的概念与动作，提升泛化能力。
- 视频生成与理解的统一：生成模型是否真正"理解"视频，理解与生成的联合建模。
- 实时视频分析：流式视频的在线处理，低延迟动作识别与事件检测。
- 多模态视频理解：结合音频、文本（字幕、旁白）的多模态融合，提升理解深度。
推荐资源
- 论文：SlowFast Networks for Video Recognition
- 论文：InternVideo2
- 课程：Stanford CS231n（视频分析部分）
- 数据集：Kinetics、ActivityNet、MSR-VTT、Something-Something