FoleyCrafter - 一个基于文本的视频到音频生成框架

AI音频工具 AI配音合成（文转音，语音克隆） AI音频工具

FoleyCrafter

FoleyCrafter是一个基于文本的视频到音频生成框架，可以生成与输入视频在语义上相关并且在时间上同步的高质量音频。

标签：FoleyCrafter

链接直达手机查看

什么是FoleyCrafter

FoleyCrafter是一个基于文本的视频到音频生成框架，可以生成与输入视频在语义上相关并且在时间上同步的高质量音频。由上海人工智能实验室和香港中文大学（深圳）的团队联合开发。

FoleyCrafter Github：https://github.com/open-mmlab/FoleyCrafter

FoleyCrafter 项目体验：https://huggingface.co/spaces/ymzhang319/FoleyCrafter

FoleyCrafter研究方法

FoleyCrafter 构建于一个预训练的文本到音频（T2A）生成器之上，确保了高质量的音频合成。它包括两个主要组件：语义适配器（S.A.）和时间控制器，后者包括时间戳检测器（T.D.）和时间适配器（T.A.）。语义适配器和时间控制器都是可训练模块，输入视频以合成音频，并通过音频监督进行优化。T2A 模型保持固定，以维持其高质量音频合成的既定能力。

相关导航

海绵音乐

海绵音乐是字节跳动公司推出的一款AI音乐创作平台，旨在利用人工智能技术生成个性化音乐。该平台的主要功能包括灵感创作和自定义创作，用户可以通过输入关键词生成歌词或自定义旋律、节奏等元素。此外，海绵音乐还支持一键生成歌词，并且单次可生成1分钟时长的歌曲。

FluxMusic

FluxMusic是一种基于扩散模型和Transformer架构（DiT）的开源音乐生成模型，该模型能够很好地遵循提示词生成音乐，并且生成的音乐更加自然流畅。

Bark AI

Bark AI是一个开源的文本转语音（TTS）模型，由Suno公司开发。它基于转换器（Transformer）架构，能够生成高度逼真的多语言语音、音乐、背景噪音以及非语言交流声音，如笑、叹息和哭泣等。

EmotiVoice-Plus

EmotiVoice-Plus是升级版文本转语音引擎，在原有网易有道EmotiVoice的基础上，增加了支持生成多人故事剧本的功能。

ToucanTTS

ToucanTTS是由德国斯图加特大学自然语言处理研究所（IMS）开发的一个高级文本转语音（Text-to-Speech, TTS）工具箱

StreamSpeech

StreamSpeech 是一个集语音识别、语音翻译和语音合成于一体的无缝模型。它不仅支持离线任务，还能在流式环境中提供实时的语音到语音翻译，显著提升了低延迟通信的体验。