多模态模型

本文介绍大模型从文本扩展到图像、音频、视频等模态的技术路线。

快速开始¶

多模态模型的目标是让模型同时理解和生成多种模态的信息。它不是简单把图片传给语言模型，而是要解决表示对齐、跨模态融合、指令跟随和生成控制等问题。

典型演化路线是：

图文对齐 -> 视觉语言模型 -> 多模态指令微调 -> 原生多模态模型

专业理解多模态模型时，要区分两个问题：理解和生成。视觉语言模型 (Vision-Language Model, VLM) 主要解决图像、视频等输入如何接入语言模型；扩散模型和 flow model 主要解决图像、视频等连续信号如何生成。视频是多模态模型中最容易触发 token 爆炸的输入类型，需要同时处理空间细节、时间顺序、事件边界和长上下文压缩。

多模态任务分类¶

不同任务对模型结构要求不同。OCR 和 grounding 更重视局部细节，视频理解更重视时序压缩，生成任务更重视高维连续信号建模。

图文对齐¶

CLIP 使用大量图文对训练图像编码器和文本编码器，让匹配的图片和文本在同一向量空间中靠近，不匹配的样本远离。

CLIP 的对比学习目标可简化理解为：提高匹配图文对的相似度，降低不匹配图文对的相似度。

其中 \(I_i\) 是图像表示，\(T_i\) 是文本表示，\(\tau\) 是温度参数。实际训练通常同时使用 image-to-text 和 text-to-image 两个方向：

这种对称目标让图像检索文本和文本检索图像都能工作。

这种对比学习方式让模型获得开放词表图像理解能力。它的意义在于把视觉表示和语言表示对齐，为后续图文检索、图像分类、文生图和视觉语言模型打下基础。

文本到图像生成¶

DALL-E、Imagen、Stable Diffusion 等模型让文本描述可以控制图像生成。

其中扩散模型路线逐渐成为主流。文本编码器负责理解提示词，扩散模型负责逐步生成图像。更完整的扩散过程见 扩散模型。

视觉 token 接入 LLM¶

视觉语言模型通常把图像编码成视觉 token，再与文本 token 一起送入语言模型或跨模态模块。

常见结构包括：

• vision encoder：使用 ViT、CNN 或其他视觉骨干提取图像特征；
• projector：把视觉特征映射到语言模型隐藏维度；
• resampler：压缩大量视觉 patch，减少 token 数；
• cross attention：让语言模型通过注意力读取视觉特征；
• early fusion：视觉 token 和文本 token 早期融合；
• late fusion：视觉和文本先独立编码，再在后续融合。

flowchart LR
    A[Image] --> B[Vision Encoder]
    B --> C[Projector / Resampler]
    C --> D[Visual Tokens]
    E[Text Tokens] --> F[LLM]
    D --> F
    F --> G[Text Answer]

LLaVA 类模型常采用视觉编码器 + projector + LLM 的结构。Flamingo 使用跨注意力连接视觉特征和语言模型。BLIP-2 使用 Q-Former 在冻结图像编码器和语言模型之间建立桥梁。

VLM 训练阶段¶

视觉语言模型通常经历多个训练阶段：

多模态指令微调解决的是可交互性问题。一个只会图文匹配的模型不一定会回答用户问题，多模态指令微调让模型以助手形式使用视觉能力。

高分辨率和长视频问题¶

图像和视频会带来 token 爆炸。假设图像被切成 patch，分辨率越高，patch 数越多；视频还要乘以帧数。

视频 token 数可以粗略估算为：

其中 \(T\) 是帧数，\(H,W\) 是分辨率，\(p_h,p_w\) 是 patch 大小。若 \(224\times224\) 图像使用 \(14\times14\) patch，每帧有 \(256\) 个 patch；输入 \(32\) 帧时，不做压缩就会得到 \(8192\) 个视觉 token。

常见处理方式包括：

• image tiling：把高分辨率图像切块处理；
• dynamic resolution：根据图像内容动态分配 token；
• frame sampling：抽取关键帧；
• temporal pooling：压缩时间维度；
• hierarchical encoding：先局部编码，再全局聚合。

这些方法都在压缩信息和保留细节之间做取舍。OCR、图表理解、小目标识别通常需要更多视觉 token，而普通场景描述可以更激进压缩。

原生多模态模型¶

原生多模态模型希望在训练阶段就统一处理文本、图像、音频、视频等模态，而不是把视觉模块后接到已有语言模型上。

关键问题包括：

• 不同模态如何 token 化；
• 不同模态的序列长度差异如何处理；
• 训练数据如何混合；
• 模态之间如何共享表示；
• 生成任务和理解任务如何统一。

原生路线的优势是模态融合更彻底，代价是训练数据、模型结构和评测都更复杂。外接视觉编码器路线更容易复用现有 LLM，但跨模态表达可能受接口限制。

多模态与工具使用¶

多模态模型不只用于看图问答。它还可以和 OCR、目标检测、浏览器、代码执行、机器人控制等工具结合，形成更复杂的智能体系统。

不过在模型原理层面，核心仍然是跨模态表示、融合和生成。具体工具编排应放到下游应用章节中理解。

失败模式与安全问题¶

多模态模型面临的难点包括：

• 视觉细节容易丢失；
• OCR、计数、空间关系仍可能出错；
• 图表和表格需要结构化理解；
• 视频和长音频带来更长上下文压力；
• 多模态数据质量和版权更复杂；
• 视觉提示注入可能通过图片文字影响模型行为；
• 模型可能对不存在的视觉细节产生幻觉。

未来发展方向是更统一的模态表示、更强的视频理解、更精细的空间推理，以及和外部工具的结合。

代表路线¶

常见误区¶

参考资料¶

• Learning Transferable Visual Models From Natural Language Supervision
• Flamingo: a Visual Language Model for Few-Shot Learning
• BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models
• Visual Instruction Tuning
• LLaVA-NeXT: Improved reasoning, OCR, and world knowledge

Video¶

本节面向大模型体系下的视频理解、视频生成和视频多模态面试准备。

快速开始¶

视频不是“多张图片拼接”。图像主要建模空间结构，视频还需要建模时间顺序、运动、事件边界、主体一致性和长程依赖。一个人在视频中转身、遮挡、离开又出现，这些都要求模型理解跨帧状态，而不是只识别单帧内容。

视频模型可以分成两条主线：

• 视频理解：看懂发生了什么，回答问题、定位事件、总结长视频。
• 视频生成：合成连续且可控的时空信号，保证文本对齐、主体一致和运动合理。

典型技术链如下：

flowchart TD
    A[Video] --> B[Frame Sampling]
    B --> C[Patch / Tubelet Tokenization]
    C --> D[Spatial Encoder]
    D --> E[Temporal Modeling]
    E --> F[Video Tokens]
    G[Text Tokens] --> H[LLM or Diffusion Backbone]
    F --> H
    H --> I[Answer / Caption / Generated Video]

面试中要抓住三个问题：视频如何变成 token，模型如何建模时间，系统如何在 token 成本和信息保真之间取舍。

视频任务谱系¶

这些任务不是孤立的。一个视频问答系统可能同时用到动作识别、OCR、ASR、事件检索和语言推理；一个视频生成系统也可能同时用到文本理解、图像条件、运动控制和安全过滤。

视频表示与 token 化¶

视频张量常写成：

[B, T, C, H, W]

其中 \(B\) 是 batch size，\(T\) 是帧数，\(C\) 是通道数，\(H,W\) 是分辨率。

Frame Sampling¶

直接输入所有帧通常不可行。常见采样方式包括：

• uniform sampling：均匀抽帧，简单稳定；
• key frame sampling：选择变化明显或信息密度高的帧；
• adaptive sampling：根据镜头、运动、问题内容动态选帧；
• shot-based sampling：先做镜头切分，再在每个镜头内抽帧。

抽帧越多，信息越完整，但 token 数、attention 成本和显存也会同步增长。

Patch Token 与 Tubelet Token¶

逐帧 patch tokenization 把每一帧切成图像 patch，再把所有帧的 patch 拼起来。tubelet tokenization 则把连续帧中的局部时空块作为 token。

视频 token 数可估算为：

其中 \(p_t,p_h,p_w\) 分别是时间、高度、宽度方向的 patch 或 tubelet 大小。

标准 self-attention 成本为：

这说明视频比图像更容易触发 token 爆炸：帧数翻倍，token 约翻倍；分辨率长宽都翻倍，空间 token 约变成 \(4\) 倍。

PyTorch: Tubelet Embedding¶

下面的简化实现用 Conv3d 把视频切成 tubelet，并投影到隐藏维度：

import torch
import torch.nn as nn

class VideoPatchEmbed(nn.Module):
    def __init__(self, in_chans=3, embed_dim=768, tubelet=(2, 16, 16)):
        super().__init__()
        self.proj = nn.Conv3d(
            in_chans,
            embed_dim,
            kernel_size=tubelet,
            stride=tubelet,
        )

    def forward(self, x):
        # x: [B, T, C, H, W]
        x = x.permute(0, 2, 1, 3, 4)  # [B, C, T, H, W]
        x = self.proj(x)              # [B, D, T', H', W']
        x = x.flatten(2).transpose(1, 2)  # [B, N, D]
        return x

video = torch.randn(2, 16, 3, 224, 224)
embed = VideoPatchEmbed(tubelet=(2, 16, 16))
tokens = embed(video)
print(tokens.shape)

输出形状是 [B, N, D]，其中 \(N=T'\cdot H'\cdot W'\)。真实系统还会加入位置编码、时间编码、mask、resampler 或压缩模块。

视频理解模型演化¶

视频理解模型大致经历了以下路线：

flowchart LR
    A[2D CNN Frame Model] --> B[Two-Stream + Optical Flow]
    B --> C[3D CNN / I3D]
    C --> D[Video Transformer]
    D --> E[Masked Video Pretraining]
    E --> F[Video-Language Model]
    F --> G[Long Video Understanding]

视频分类可以抽象为：

其中 \(V\) 是视频，\(f_\theta\) 是视频编码器，\(W\) 是分类头。

一个极简分类头如下：

class VideoClassifier(nn.Module):
    def __init__(self, encoder, hidden_dim, num_classes):
        super().__init__()
        self.encoder = encoder
        self.head = nn.Linear(hidden_dim, num_classes)

    def forward(self, x):
        # x: [B, T, C, H, W]
        tokens = self.encoder(x)      # [B, N, D]
        pooled = tokens.mean(dim=1)   # [B, D]
        logits = self.head(pooled)    # [B, num_classes]
        return logits

真实视频模型通常不会只做 mean pooling，但这个例子展示了视频理解最基本的数据流：视频 -> token -> 聚合 -> 任务头。

时序建模方法¶

视频比图像难，主要难在时间维度。常见时序建模方式包括：

分解时空 attention 可以写成两步。

空间 attention 在同一帧内建模对象关系：

时间 attention 在同一空间位置或聚合 token 上建模运动变化：

伪代码如下：

输入: video tokens X with shape [T, S, D]
for each transformer layer:
    for each frame t:
        X[t, :, :] = spatial_attention(X[t, :, :])
    for each spatial position s:
        X[:, s, :] = temporal_attention(X[:, s, :])
输出: updated video tokens

这种分解不等价于完整时空 attention，但能显著降低成本，并保留空间和时间两类关系。

视频接入 LLM¶

视频语言模型通常把视频编码成少量 video tokens，再与文本 token 一起输入 LLM。

flowchart LR
    A[Video Frames] --> B[Vision Encoder]
    B --> C[Temporal Encoder]
    C --> D[Resampler]
    D --> E[Video Tokens]
    F[Question Tokens] --> G[LLM]
    E --> G
    H[ASR / OCR / Metadata] --> G
    G --> I[Answer]

常见组件包括：

• frame encoder：逐帧提取视觉特征；
• temporal encoder：建模帧间关系；
• projector：把视觉维度映射到 LLM hidden size；
• resampler：压缩视觉 token 数；
• Q-Former / Perceiver Resampler：用少量查询 token 聚合视觉信息；
• ASR/OCR/metadata：把语音、字幕、屏幕文字、时间戳作为额外文本证据。

一个极简 projector 如下：

class MeanPoolVideoProjector(nn.Module):
    def __init__(self, vision_dim, llm_dim):
        super().__init__()
        self.proj = nn.Linear(vision_dim, llm_dim)

    def forward(self, frame_features):
        # frame_features: [B, T, P, Dv]
        x = frame_features.mean(dim=2)  # [B, T, Dv]
        x = self.proj(x)                # [B, T, D_llm]
        return x

这个例子非常简化。真实模型通常会保留更细粒度的空间 token，并用 resampler 控制 token budget。

视频问答的基本伪代码是：

输入: video, question
frames = sample_frames(video)
visual_tokens = vision_encoder(frames)
video_tokens = temporal_resampler(visual_tokens)
answer = llm.generate([video_tokens, question])
输出: answer

视频生成的基本问题¶

视频生成要同时满足文本对齐、画面质量、运动合理性和帧间一致性。

视频 latent 比图像 latent 多一个时间维度：

主流视频生成系统通常在压缩潜空间中联合建模空间和时间，再通过 3D U-Net、时间注意力或 Video DiT 完成去噪。扩散目标、Classifier-Free Guidance (CFG)、DiT 和 Flow Matching 的具体机制见 扩散模型。

在多模态系统中，更需要关注不同条件如何约束视频：文本控制语义，首帧和参考图保持主体与风格，深度、姿态、相机轨迹等信号控制运动。与图像生成相比，视频生成还必须处理闪烁、身份漂移、物体持续性和长期时序一致性；CFG 过强也可能放大过饱和和运动不自然。

数据、训练和评测¶

视频模型难训练，原因不只是数据大。

评测方式包括：

FVD 的直觉是在视频特征空间比较真实视频和生成视频分布的距离。它有参考价值，但不能替代人工偏好评测。

长视频理解¶

长视频不能直接把所有帧丢进模型。更常见的做法是检索、摘要和分层记忆。

flowchart TD
    A[Long Video] --> B[Shot Segmentation]
    B --> C[Key Frame Sampling]
    B --> D[ASR / OCR]
    C --> E[Visual Embedding Index]
    D --> F[Text Index]
    G[User Question] --> H[Retriever]
    E --> H
    F --> H
    H --> I[Selected Evidence]
    I --> J[LLM Reasoning]
    J --> K[Answer with Timestamp]

长视频问答伪代码：

输入: long_video, question
shots = segment_video(long_video)
keyframes = sample_keyframes(shots)
visual_index = build_visual_index(keyframes)
text_index = build_text_index(asr_and_ocr(long_video))
evidence = retrieve(question, visual_index, text_index)
answer = llm.reason(question, evidence)
输出: answer with timestamps

面试中如果被要求设计长视频问答系统，应强调：先检索证据，再让 LLM 推理；不要直接把所有帧送入上下文。

视频面试高频问题¶

常见误区¶

与其他章节的关系¶

视频是多模态模型的重要分支。视频生成通常依赖 扩散模型、DiT 或 Flow Matching。视频 token 建模和长上下文成本与 Transformer 模型 和高效架构紧密相关。

传统视频理解基础可参考 视频理解。

参考资料¶

• Two-Stream Convolutional Networks for Action Recognition in Videos
• Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset
• Is Space-Time Attention All You Need for Video Understanding?
• ViViT: A Video Vision Transformer
• VideoMAE: Masked Autoencoders are Data-Efficient Learners for Self-Supervised Video Pre-Training
• Video-LLaVA: Learning United Visual Representation by Alignment Before Projection
• Video Diffusion Models
• Stable Video Diffusion
• VideoPoet: A Large Language Model for Zero-Shot Video Generation
• Scalable Diffusion Models with Transformers