IndexTTS2 是一個(gè)突破性的自回歸語音合成模型，由 Bilibili（嗶哩嗶哩）開發(fā)，旨在解決大規(guī)模文本到語音（TTS）系統(tǒng)中精確時(shí)長(zhǎng)控制和情感表達(dá)的挑戰(zhàn)。該模型在多個(gè)方面實(shí)現(xiàn)了創(chuàng)新，包括情感與音色的解耦、精確的時(shí)長(zhǎng)控制、以及基于自然語言的情感控制等。

• IndexTTS2官網(wǎng)入口網(wǎng)址：https://github.com/index-tts/index-tts
• IndexTTS2中文介紹：鏈接

IndexTTS2 的核心優(yōu)勢(shì)在于其能夠?qū)崿F(xiàn)情感與說話人身份的解耦，用戶可以獨(dú)立控制音色和情感，從而實(shí)現(xiàn)更靈活、細(xì)膩的語音合成。此外，該模型支持多種情感控制方式，包括使用情感參考音頻、情感向量控制、情感描述文本控制等。在技術(shù)實(shí)現(xiàn)上，IndexTTS2 采用了自回歸架構(gòu)，并結(jié)合了 GPT 潛在表示和三階段訓(xùn)練策略，以提升語音生成的穩(wěn)定性和情感表達(dá)的準(zhǔn)確性。

IndexTTS2 在多個(gè)基準(zhǔn)測(cè)試中表現(xiàn)出色，包括詞錯(cuò)誤率、說話人相似度和情感保真度等方面均優(yōu)于現(xiàn)有模型。該模型還支持多種生成模式，包括固定時(shí)長(zhǎng)模式和自由時(shí)長(zhǎng)模式，以滿足不同應(yīng)用場(chǎng)景的需求。

IndexTTS2 是一個(gè)在語音合成領(lǐng)域具有重要突破的模型，其在情感表達(dá)、時(shí)長(zhǎng)控制和可控性方面均達(dá)到了高水平，為 AI 配音和語音合成技術(shù)的發(fā)展提供了重要支持。