Snap Video 模型概述及技术亮点
1. 概述：
Snap Video 是一个能够通过文字描述自动生成视频的模型，解决了传统视频创作需要专业技能和设备的问题。该模型基于图像生成模型的成功经验，专注于视频生成，克服了视频内容冗余性带来的挑战。
2. 主要特点：
- 时空联合建模：Snap Video 能合成具有大幅度运动的连贯视频，并保留大规模文本到视频生成器的语义控制能力。
- 高分辨率视频生成：采用两阶段级联模型，先生成低分辨率视频，再进行高分辨率上采样，避免时间不一致性问题。
- 基于FIT架构：利用Far-reaching Interleaved Transformers (FIT)架构，通过学习压缩的视频表示，实现高效的时空计算联合建模。
3. 性能表现：
- 训练和推理速度：比U-Net快3.31倍的训练速度，4.5倍的推理速度。
- 评估结果：在UCF101和MSR-VTT等数据集上表现出色，尤其是在动作质量方面。
- 用户研究：显示Snap Video在视频文本对齐、动作数量和质量方面优于最新方法。
4. 技术创新：
- 扩展EDM框架：考虑空间和时间上的冗余像素，自然支持视频生成。
- 新型变换器架构：提高了训练和推理效率，使得模型可以高效地处理数十亿参数。
5. 行业影响：
Snap Video首次实现了具有数十亿参数的文本到视频生成模型，达到最先进的结果，并生成质量更高、时间一致性和动作复杂性显著的视频。
6. 论文参考：
有关详细技术细节和实验结果，请参考论文地址：https://arxiv.org/pdf/2402.14797
