公司秘密研发三年，用AI颠覆视频配音，连TED都加入

材料分析与总结

公司概况

• 公司名称：Panjaya
• 创始人：Hilik Shani 和 Ariel Shalom（来自以色列政府的深度学习专家）
• CEO：Guy Piekarz（前Matcha创始人，于2013年被Apple收购）

产品介绍

• 产品名称：BodyTalk
• 特点：
  • 使用AI技术翻译视频中的对话，并准确复制原始说话者的音色。
  • 自动调整视频中角色的面部表情和身体动作以匹配新语言的语调。

技术细节

• BodyTalk 支持29种语言的翻译。
• 工作流程：
  1. 音频翻译
  2. 生成模仿原始说话者的全新音色
  3. 自动调整视频中说话人的口型和动作以匹配新语言

技术策略

• 使用第三方大型语言模型和自研核心技术的混合战略。
• 内部AI研究团队开发了唇同步引擎，因为市场上没有现成解决方案能够满足其复杂的商业需求。

商业应用及效果

• 目前主要面向B2B市场，并已与JFrog、TED等机构合作。
• TED报告称使用Panjaya工具的讲座视频观看次数增加了115%，完整观看率翻倍。
• 计划进一步扩展应用领域，包括体育、教育、营销和医疗。

风险管控

• 严格控制工具访问权限，并计划开发水印功能以识别合成视频内容。

融资与未来规划

• 最近一轮融资为950万美元，投资方包括Viola Ventures、R-Squared Ventures以及JFrog联合创始人兼CEO Shlomi Ben Haim。
• 未来将推出API接口并进一步提高处理速度，目标是实现实时处理。

市场背景

• 据CBS调查，超过半数的美国观众会开启字幕，但国际市场对配音内容的需求依然巨大。
• CSA研究显示，尤其是在B2B领域，使用本地语言的内容可以提升用户参与度。

结论与观点

Panjaya通过其创新产品BodyTalk在视频翻译行业中取得了突破性进展。这项技术不仅能够准确地进行语音和字幕的转换，还具备自动调整面部表情和动作的能力，极大地提升了用户体验。结合实际应用案例（如TED报告中观看率显著提升），可以看出该技术具有巨大的市场潜力。

在未来发展中，Panjaya计划进一步拓展API接口及提高处理速度以实现实时翻译，这将进一步推动其在B2B市场的渗透。通过严格的技术管控和水印功能开发，也可以有效防止技术滥用风险。

从融资角度看，公司已获得950万美元的资本支持，为未来扩张和发展奠定了坚实基础。结合国际市场需求分析，BodyTalk有潜力成为全球视频翻译行业的领导者之一。

Source:https://www.aibase.com/news/13154