twitter 巨屌 ChatTTS 深度体验：AI能精确抒发东谈主类的看破红尘了？｜ AI鲜测|ai|乱码|chattts

twitter 巨屌

作家｜椒盐玉兔

剪辑｜椰子

最近，ChatTTS 这一语音生成技俩在 GitHub 上赶紧取得照看。抑止6月4日，6天时间依然斩获18.9千个星标。各大网友直呼太牛！按照这么的趋势，很快会冲破2万stars。

网址：https://github.com/2noise/ChatTTS

ChatTTS 是一个专门为对话场景假想的文本生谚语音模子（TTS 即 Text-To-Speech），它接济多种语言，包括英语和汉文，最大的模子选用了10万小时的中英文数据进行测验，在 Huggingface 中开源的版块为4万小时测验且未sft的版块。以确保声息合成的高质料和天然度。

据官方先容，ChatTTS 有3大亮点：

在 Github 里听完官方语音版的自我先容，东谈主物声息十分传神、天然、历程，同期有停顿、笑声。

那咱们用官方指示词碰侥幸着力若何：

代码如下：

inputs_cn = """chat T T S 是一款远大的对话式文本转语音模子。它有中英混读和多言语东谈主的材干。chat T T S 不仅大致生成天然运动的语音，还能抑止[laugh]笑声啊[laugh]，停顿啊[uv_break]语气词啊等副语言风物[uv_break]。这个韵律卓著了许多开源模子[uv_break]。请精通，chat T T S 的使用应慑服法律和伦理准则，幸免浪费的安全风险。[uv_break]'""".replace('\n'， '')params_refine_text = {'prompt': '[oral_2][laugh_0][break_4]'} audio_array_cn = chat.infer(inputs_cn， params_refine_text=params_refine_text)# audio_array_en = chat.infer(inputs_en， params_refine_text=params_refine_text)torchaudio.save("output3.wav"， torch.from_numpy(audio_array_cn[0])， 24000)

除了上头的官方自我先容，人人最练习的详情是这几天最常见到的那段——四川好意思食诵读，不得不说生成的着力确切很天然、很运动啊！

1

写在前边：

本文主要分为三部分，对某个板块感兴致的小伙伴可径直跳转阅读。

ChatTTS 深度测评（PK看破红尘，节选音频放在著述，是在辣耳朵的咱先不放了。）

若何使用 ChatTTS

其他开源 TTS 技俩保举

1

ChatTTS PK 东谈主之“看破红尘”

每个东谈主都有看破红尘，都说 ChatTTS 生成的声息十分传神天然，那挑战一下咱们的“看破红尘”，看它有多大能耐！咱们运用 ChatTTS 的文本抑止标志来丰富语音的心思施展，具体如下，人人请抚玩：

利欲（Desire for Gain）：

每次投资看到数字翻倍，那种沸腾的嗅觉就像是找到了新大陆[break_1]，让东谈主进退无据。

整句话天然运动，“沸腾”二字的心思相对相比杰出。

食欲（Desire for Food）：

当我看到那份丰盛的晚餐被摆上桌子，我的涎水忍不住就流了下来[break_1][oral_3]，每一谈菜都让我垂涎三尺。

翰墨输出部分有部分词语访佛，完毕部分在语音动听起来腌臜不清，但举座的心思很有余，相对来说也相比运动。

睡欲（Desire for Sleep）：

经过一整天的用功，我只想一头栽进软软的床上[lbreak]，千里浸在甜好意思的黑甜乡中[oral_4]。

举座运动天然，心思也到位。

财欲（Desire for Wealth）：

每次猜度能中大奖的那一刻，我的心就充满了慷慨[laugh_2]和无穷的幻想[break_2]。

这是驱动乱码了。

名欲（Desire for Fame）：

站在闪光灯下的那一刻，我嗅觉我方就像是全国的中心[laugh_1]，所有的眼神都诱骗在我身上。

整句话非常运动，听完就有种站在“闪光灯下”的嗅觉，最专门旨道理的是完毕部分还有“偷笑”，况且还很有偷感。

偷窥偷拍

色欲（Desire for Sex）：

在那迷东谈主的灯光下，我被对方那普遍的眼神深深眩惑[break_3]，无法自拔。

毫冷凌弃感的诵读人人，关联词极其天然运动。

还有七情

为了更好地抒发“看破红尘”这一复杂的心思体系，咱们相通不错通过在文本中镶嵌抑止标志来精雅抑止语音的心思抒发，具体如下：

喜（Joy）：

-原文：终于得到了期待已久的晋升[laugh_1]，嗅觉像是站辞全国之巅[break_2]，一切死力都得到了陈说。

-翰墨输出：驱动乱码重复，好多时候需要屡次生成才行。

-音频输出：音频里基本莫得生成齐备的词语、句子能说出来，基本都是乱叫。

咱们会发现，这两次的着力都在翰墨输出这部分就依然出问题了。

怒（Anger）：

-原文：看到那抵挡正的报谈，我几乎气炸了[lbreak]，何如不错这么污蔑事实[oral_5]？

-翰墨输出：翰墨全部正确输出。

-音频输出：前半句相等镇定，中间有停顿，但后半句齐备听不出“怒”感，致使略带“笑意”，不太合理。

这部分句子能齐备读出来，致使驱动有了停顿，但在心思变化傻密斯略显青涩，基本快听不出心思的变化。（ 盲猜：只消笑和停顿是最昭彰的。

哀（Sorrow）：

-原文：告别典礼上，我试图扼制我的悼念[break_4][oral_2]，但泪水如故夺眶而出。

-翰墨输出：试了两次，都枯竭“但泪水如故夺眶而出”的翰墨。

-音频输出：心思相等镇定，关联词有“嗯”的语气词。

第三句话在 output 翰墨输出部分就依然驱动遗漏原始信息了，到语音部分后续半句“但泪水如故夺眶而出”径直丢失，无法生谚语音。心思上则相等地镇定，不外能听出来有点儿方言的嗅觉。

乐（Happiness）：

-原文：在一又友的婚典上，咱们沿途陶然[laugh_2]，那一刻的幸福感[break_1]无与伦比。

-翰墨输出：翰墨输出一半以后驱动乱码，后头基本呈壅塞的情景。

-音频输出：乐倒是挺乐的，全程基本都是壅塞的情景，“我我我......”等等。

这一次跟第一次着力很像，基本莫得齐备的词语出现，固然莫得齐备的剧字输出，但心思这点很有余，无语之间藏着大笑。至于有多乐，如故耳听为实。

念念（Thoughtfulness）：

-原文：看着夕阳逐渐西下[break_3]，我堕入了深深的念念索[oral_1]，念念考东谈主生的真义。

-翰墨输出：翰墨输出前半句多了“西下”，内容上有重复。

-音频输出：音频中相通也带有双“西下”，听起来怪怪的，心思上倒曲直常有念念考的嗅觉。

在翰墨输出部分除了时时时丢失句子除外，还会存在词语“访佛”的风物，这径直影响终末生成的语音完毕，有点像抽卡，需要屡次材干陶然。

惊（Surprise）：

-原文：当我不测间发现那份遗失的信件[lbreak]，讶异之情言外之意[break_2]。

-翰墨输出：翰墨内容齐备输出。

-音频输出：音频齐备输出，停顿的恰到公正，读到“不测间”这几个字是有心思在的，但后半句讶异的心思莫得体现出来。

这一次齐备输出了翰墨和音频，心思上有所触及到，但波动不昭彰，听不出讶异的心思，像是镇定地诵读。

恐（Fear）：

-原文：夜晚的奇怪声响让我心惊肉跳[break_3][oral_8]，每一个声息都让我毛骨竦然。

-翰墨输出：翰墨输出着力多了一个单词 way，其他都很齐备。

-音频输出：诵读的非常天然，所有这个词心思也相对有余，尤其是读到“毛骨竦然”的时候，还喘语气。

此次是很齐备地把 ChatTTS 的脾气展现出来了，不仅运动天然、况且心思很到位，致使完毕还出现了第二个东谈主声的“嗯”，可见还有好多矿藏功能有待挖掘。

咱们会发现 ChatTTS 的输出不太踏实，时而齐备、时而缺胳背少腿儿，如故那句话（进军的事情说三遍‼️）：

多抽卡，多尝试！

多抽卡，多尝试！

多抽卡，多尝试！

总的来说，通过停顿、笑声和口腔特征的抑止标志，ChatTTS 大致更准确地传达复杂的心思情景，擢升语音内容的施展力和互动性。但相对而言，如故有一段距离要走的。

1

总结

其实，测评到这，ChatTTS 在 GitHub 上特别火是有原因的，比如：

多语言接济：不论你是讲汉文如故英文，这玩意儿都能玩忽。

声息有心思：它能在言语时加入笑声或改换语调，让聊天愈加天然。

易用性：它的诞生过程阳春白雪，能告成集成到多样措施里。

但相通也存在一些问题：

巧合候会卡壳，断断续续的，影响体验。

声息质料错落不都， 偶尔得试好几次材干得到个动听的声息。

我能猜度的一些使用场景（天然不啻这些）：

机器东谈主和假造助手：真确的声息输出非常稳当擢升用户的互动体验。

制作多媒体内容：比如有声书或者故事评释注解，都能用得上。

1

若何使用 ChatTTS

关于文本预处理：在文本中镶嵌抑止在文本层面上，ChatTTS 使用特别的标志手脚镶嵌式敕令。这些标志让您不错抑止停顿、笑声和其他理论方面。

句子级抑止：插入像 [laugh_(0-2)] 这么的标志，引入笑声，[break_(0-7)] 暗示不同长度的停顿，以及 [oral_(0-9)] 来抑止其他口腔特征。

单词级抑止：通过在特定单词傍边摈弃 [uv_break] 和 [lbreak] ，杀青对句子里面停顿的精雅抑止。

举个例子，你正在为一个儿童故事应用措施创建一个奇念念妙想的 AI 脚色，你不错使用 ChatTTS 创建类似这么的文本（英文绘本）：

"Once upon a time， [uv_break] in a land filled with talking carrots andsinging potatoes， [break_2] lived a little firefly named Flicker. [laugh]Flicker loved to [uv_break] dance among the moonbeams!"
br

现实生见着力：英文几乎等于一气呵成，况且相等动听。

汉文绘本

"很久很久往时，[uv_break] 在一个到处是会言语的胡萝卜领路唱歌的土豆的处所，[break_2]住着一只叫弗莱克的小萤火虫 [laugh]萤火虫可爱在[uv_break]蟾光下舞蹈！"
br

现实生见着力：大段翰墨读起来相等运动，也有笑声。

通过精雅化这些标志，你不错让 ChatTTS 生成一个声息，为戏剧着力停顿、和煦地笑，并把阿谁魔幻全国带到活命中来。

推理参数：微调输出在音频生成过程（推理）中，你不错通过传递给 chat.infer() 函数的参数进一步完善输出：1️⃣ params_infer_code：这个字典抑止言语者身份（spk_emb）、语音变化（temperature）妥协码政策（top_P、top_K）等方面。

2️⃣ params_refine_text：这个字典主要用于句子级抑止，类似于文本里面若何使用标志。

这两个头绪的抑止结合在沿途，使合谚语音具有前所未有的施展力和定制性。

精通⚠️：现在网上有好多的体验地址，但这个 https://chattts.com/ 并不是官方网站，但不需部署可径直上手体验。

官方进口在这里：

https://github.com/2noise/ChatTTS

有代码基础的同学不错我方入手试试，或者使用网友依然在 colab 部署好的地址：

https://colab.research.google.com/github/Kedreamix/ChatTTS/blob/main/ChatTTS_infer.ipynb

1

其它开源 TTS 模子也值得照看

Bark是 Suno AI 提议的基于 transformer 的 TTS 模子。该模子大致生成多样音频输出，包括语音、音乐、配景杂音以及简便的音效。此外，它还不错产生非语言语音，如笑声、欷歔声和抽陨涕噎声等。其中以语气和笑声着力手脚主要上风。

技俩地址:

https://github.com/suno-ai/bark

Piper TTS（Text-to-Speech）是一个基于神经网罗的文本到语音系统，专门为低功耗筹商机和硬件如树莓派（Raspberry Pi）优化。其中枢在于快速、纯真且易于部署的文本到语音惩办决策，非常稳当需要在资源受限的树立上运行的场景。

技俩地址:

https://github.com/rhasspy/piper

GradTTS手脚纯真性架构模子的代表，其通过结合扩散概率模子、生因素数匹配和单调对都搜索等先进工夫，提供了一种高效且高质料的文本到语音惩办决策。其纯确切框架和正常的应用远景使其成为面前文本到语音范围的一个进军里程碑。

技俩地址:

https://github.com/WelkinYang/GradTTS

Matcha-TTS提供了一种高效、天然且易于使用的非自转头神经TTS惩办决策，适用于多种应用场景。

技俩地址:

https://github.com/shivammehta25/Matcha-TTS

1

终末

战争过 TTS 的东谈主知谈，文本生语音着力非常生硬、断词断句昭彰、齐备莫得心思、一股机器东谈主味儿，这还仅仅其中的一些问题所在。

但 ChatTTS 带给我很大的惊喜，单从生成质料来看，它的生成的质料相等像东谈主言语的嗅觉，会笑、会哭、会停顿，还会大喘息。诚然它还有好多的不及，像生成时间过长、缺句子、巧合候致使无法齐备生成一句话等等，但这并不会妨碍它接续往前走。

ChatTTS 技俩不仅在工夫上有了新的冲破，还开拓了语音生成工夫的应用新可能，提供的详备示例代码及文档，为开垦者和工夫爱重者提供了正常的探索和实验空间。

期待将来技俩能进一步擢升音质并加多言语东谈主音色的遴荐，为及时语音生成范围带来更多更动。

参考贵寓：https://github.com/2noise/ChatTTShttps://chattts.com/https://ai.gopubby.com/chattts-an-incredible-open-source-tts-model-for-dialogues-7ed71d55944fhttps://www.bilibili.com/video/BV1zn4y1o7iV/?vd_source=c51b77ea0e8c6261e9039c2c3d6b6410twitter 巨屌