多模态 AI (Multimodal AI)
概述
多模态 AI 研究如何让模型同时理解和生成多种模态的信息（文本、图像、音频、视频等），实现跨模态的对齐、融合与推理。真实世界天然是多模态的：人类认知依赖视觉、听觉、触觉等多种通道的协同。传统单模态模型（纯文本或纯视觉）无法处理图文混合、音视频理解等任务，多模态 AI 旨在弥合这一鸿沟，是通往通用人工智能的重要路径。
核心原理
多模态学习的核心在于建立不同模态之间的语义对齐。文本、图像、音频在原始表示空间中分布各异，需要将其映射到统一的语义空间，使"猫的图片"与"cat"的文本描述在向量空间中彼此接近。这一过程通常通过对比学习实现：正样本对（匹配的图文）被拉近，负样本对被推远。对齐完成后，模型可以执行跨模态检索、生成和推理。
另一关键原理是模态融合。在统一表示的基础上，模型需要融合多源信息进行决策。早期工作采用简单拼接或注意力机制；现代多模态大模型（MLLM）则通过投影层将视觉特征转换为语言模型可理解的 token 序列，利用大语言模型的推理能力完成复杂任务。
关键技术
视觉-语言对齐：CLIP 通过图文对比预训练实现零样本分类和检索；SigLIP 改进训练目标提升效率；BLIP-2 使用 Q-Former 作为视觉与语言之间的适配器，实现高效的图文联合理解。
多模态大模型：架构为视觉编码器 + 投影层 + 大语言模型。视觉编码器提取图像特征，投影层将其映射为 token 序列，语言模型负责理解和生成。GPT-4V、LLaVA、Qwen-VL 等均采用此范式，支持视觉问答、图像描述、OCR 等任务。
跨模态生成：根据一种模态生成另一种模态。文生图（Stable Diffusion、DALL·E）、图生文、文生音频（AudioLDM、MusicGen）已广泛应用；统一生成模型（Unified-IO、OmniGen）则支持任意模态的输入输出组合。
代表性工作
| 模型/方法 | 类型 | 主要贡献 |
|---|---|---|
| CLIP | 视觉-语言对齐 | 图文对比学习，零样本迁移 |
| BLIP-2 | 图文理解 | Q-Former 适配器，高效多模态预训练 |
| LLaVA | 多模态大模型 | 开源视觉-语言对话，指令微调范式 |
| GPT-4V / GPT-4o | 多模态大模型 | 闭源，复杂视觉推理与多模态对话 |
| Qwen-VL | 多模态大模型 | 中英文支持，文档与图表理解 |
| Stable Diffusion | 跨模态生成 | 文生图，Latent Diffusion 架构 |
应用场景
- 智能相册与检索：自动打标签、按场景分类，支持自然语言搜索（如"去年夏天海边的照片"）。
- 无障碍辅助：视障人士拍照后，AI 用语音描述画面内容。
- 教育：手写作业识别与批改，错题分析与讲解推荐。
- 电商：以图搜图、拍照搜同款、描述式商品搜索。
- 智能客服：同时分析用户文字与语音语气，提升意图理解准确性。
- 医疗：结合影像与病历文本进行辅助诊断。
发展趋势
- Any-to-Any 生成：任意模态之间的双向转换，如音乐生成图像、视频生成音频。
- 实时多模态交互：语音与视觉的实时协同，支持边看边说的自然对话。
- 3D 与空间理解：从 2D 图像推理 3D 场景结构，支持具身与机器人应用。
- 幻觉缓解：多模态大模型易产生与图像不符的描述，需通过约束解码、检索增强等方法提升可靠性。
- 长视频理解：处理数十分钟至数小时的视频，进行时序推理与摘要。
推荐资源
- 论文：Learning Transferable Visual Models (CLIP)
- 论文：Visual Instruction Tuning (LLaVA)
- 课程：Stanford CS25 - Transformers United
- 实践：Hugging Face 多模态模型库、OpenAI GPT-4V API 文档