腾讯混元开源端到端视频音效生成模型 HunyuanVideo-Foley

模型概述

2025年8月28日，腾讯混元宣布开源端到端视频音效生成模型HunyuanVideo-Foley。该模型通过输入视频和文本，能够为视频匹配电影级音效，为视频创作带来全新突破。用户只需输入相应文本描述，HunyuanVideo-Foley即可生成与画面精准匹配的音频，打破AI生成视频只能"看"不能"听"的限制，让无声AI视频成为历史。

技术突破

HunyuanVideo-Foley解决了现有音频生成技术的三大痛点：

1. 泛化能力提升：通过构建大规模高质量TV2A（文本-视频-音频）数据集，增强模型泛化能力，使其能够适应人物、动物、自然风光、卡通等多种类型视频，生成与画面精准匹配的音频

2. 创新架构设计：采用创新的双流多模态扩散变换器（MMDiT）架构，平衡文本和视频语义，生成层次丰富的复合音效，避免因过度依赖文本语义导致的音画不同步问题

3. 音质稳定性优化：通过引入表示对齐（REPA）损失函数，提升音频生成质量和稳定性，确保专业级音频保真度

性能表现

在多项权威评估基准中，HunyuanVideo-Foley表现全面领先：

• 音频质量指标PQ：从6.17提升至6.59
• 视觉语义对齐指标IB：从0.27提升至0.35
• 时序对齐指标DeSync：从0.80降至0.74

所有指标均达到新的SOTA水平。在主观评估中，该模型在音频质量、语义对齐和时序对齐三个维度上的平均意见得分均超过4.1分（满分5分），展现出接近专业标准的音频生成效果。

应用场景

HunyuanVideo-Foley的开源为行业提供了可复用的技术范式，加速多模态AI在内容创作领域的应用：

• 短视频创作者可即时生成情境音效
• 影视团队可快速完成环境音设计
• 游戏开发者可高效构建沉浸式听觉体验

获取方式

用户可通过以下渠道获取和使用该模型：

• GitHub和HuggingFace下载模型
• 混元官网直接体验

体验入口：https://hunyuan.tencent.com/foley
项目网站：https://hunyuanvideo-foley.github.io
代码仓库：https://github.com/Tencent/HunyuanVideo-Foley
技术报告：https://arxiv.org/abs/2508.12345
Hugging Face：https://huggingface.co/Tencent/HunyuanVideo-Foley

火龙果频道