WhisperSpeech

AI开源项目 AI开源项目语音模型

WhisperSpeech

开源的文本到语音系统

链接直达手机查看

WhisperSpeech是一个开源的文本到语音系统，其最大的亮点是通过对OpenAI的Whisper语音识别模型进行反向工程，实现了接收文本输入，并利用修改后的Whisper模型生成听起来自然的语音输出。WhisperSpeech的语音输出在发音准确性和自然度方面都非常出色。

体验地址：https://replicate.com/lucataco/whisperspeech-small

Github：https://github.com/lucataco/cog-whisperspeech

目前，WhisperSpeech模型是在英语LibreLight数据集上训练的，但下一个版本的目标是多种语言（Whisper和EnCodec都是多语言的）。系统还可以在单个句子中混合多种语言，并且增加了测试语音克隆的简便方法。

WhisperSpeech 项目路线图:

-声学标记提取:改进声学标记的提取过程。

-语义标记提取:使用Whisper模型生成和量化语义标记。

-S-gt;A模型转换:开发将语义标记转换为声学标记的模型。

-T-gt;S模型转换:实现从文本标记到语义标记的转换。

-提升EnCodec语音质量:优化EnCodec模型以提高语音合成质量。

-短句推理优化:改善系统处理短句的能力。

-扩展情感语音数据集:收集更大的情感语音数据。

-文档化LibriLight数据集:详细记录HuggingFace上的数据集。

-多语言语音收集:聚集社区资源，收集多种语言的语音。

-训练多语言模型:开发支持多语言的文本到语音模型。

Samba是一个开源的语言模型项目，其全称为“Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling”。它通过一种创新的混合架构，实现了对无限长度上下文的有效建模。

chatgpt-web-midjourney-proxy 项目是在 ChenZhaoYu的基础上进行二次开发的，使用 midjourney-proxy 提供的 midjourney api 作为后端。部署后，可以在基于该开源项目体验 ChatGPT、Midjourney 的功能。

FireRedTTS是一个由小红书技术团队FireRed开发的开源文本转语音（TTS）系统，基于大语言模型（LLM）构建。该系统旨在为用户提供高质量的语音合成服务，并具有丰富的标点符号处理能力。

DressCode数据集是一个用于图像基础虚拟试衣的高分辨率多类别数据集。

CelebA数据集，全称为CelebFaces Attributes Dataset，是由中国香港中文大学多媒体实验室发布的一个大规模人脸属性数据集。

Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答。该项目是一个可以实现完全本地化推理的知识库问答增强方案，重点解决企业知识库数据安全、私域化部署的痛点。