OmniHuman 是字節(jié)跳動(dòng)推出的端到端多模態(tài) AI 數(shù)字人生成框架。它能夠僅憑 一張靜態(tài)人物照片 與 音頻（語(yǔ)音、音樂(lè)）?，自動(dòng)生成 逼真的全身視頻，實(shí)現(xiàn)人物說(shuō)話、唱歌、演奏樂(lè)器、手勢(shì)交互等多種動(dòng)作與表情同步。

OmniHuman官網(wǎng)入口網(wǎng)址：https://omnihuman-lab.github.io/

關(guān)鍵特性

1. 多模態(tài)條件驅(qū)動(dòng)：支持圖像、音頻、姿態(tài)等多種信號(hào)作為驅(qū)動(dòng)條件，實(shí)現(xiàn)音頻?動(dòng)作?口型的高精度同步。
2. 基于 Diffusion?Transformer（DiT）架構(gòu)：將擴(kuò)散模型與 Transformer 結(jié)合，采用 混合條件訓(xùn)練策略，在大規(guī)模多模態(tài)數(shù)據(jù)上進(jìn)行端到端學(xué)習(xí)，突破了傳統(tǒng)數(shù)字人模型對(duì)單一訓(xùn)練信息的依賴。
3. 全條件訓(xùn)練：通過(guò)“全條件”方式讓模型從更廣泛的數(shù)據(jù)中學(xué)習(xí)，提升了對(duì)不同風(fēng)格（真人、動(dòng)漫、3D 卡通）和不同圖像比例（肖像、半身、全身）的適配能力。
4. 高質(zhì)量輸出：生成的視頻在細(xì)節(jié)、光照、紋理上保持一致，能夠精準(zhǔn)捕捉音頻情感并對(duì)應(yīng)相應(yīng)的肢體動(dòng)作和表情，支持 15 秒一鍵生成，已在教育、影視、虛擬偶像等商業(yè)場(chǎng)景落地。
5. 開(kāi)放 API（即夢(mèng)AI 平臺(tái)）?：通過(guò)即夢(mèng)AI 提供的 API，用戶只需上傳圖片和音頻，即可調(diào)用 OmniHuman 完成視頻生成，降低了創(chuàng)作門(mén)檻。

技術(shù)亮點(diǎn)

• 多模態(tài)運(yùn)動(dòng)條件混合訓(xùn)練：在訓(xùn)練階段同時(shí)引入文本、音頻、姿態(tài)等多種驅(qū)動(dòng)信號(hào)，提升模型對(duì)弱信號(hào)（如僅音頻）的生成質(zhì)量。
• 支持任意寬高比輸入：模型能夠處理不同尺寸的圖像，保持原有運(yùn)動(dòng)風(fēng)格，適用于肖像、半身、全身等多種場(chǎng)景。
• 跨模態(tài)生成能力：除了音頻驅(qū)動(dòng)，還可接受姿態(tài)或視頻驅(qū)動(dòng)，實(shí)現(xiàn)更靈活的動(dòng)畫(huà)創(chuàng)作。

應(yīng)用場(chǎng)景

• 短視頻創(chuàng)作：快速生成帶口型同步的宣傳或帶貨視頻。
• 虛擬主播/數(shù)字人：用于直播、教育培訓(xùn)中的虛擬形象。
• 影視特效：為角色動(dòng)畫(huà)提供高效的動(dòng)作與表情合成。
• 游戲與動(dòng)漫：將靜態(tài)角色圖像轉(zhuǎn)化為動(dòng)態(tài)演繹，提升互動(dòng)體驗(yàn)。

OmniHuman 的應(yīng)用場(chǎng)景能夠顯著降低制作成本、提升創(chuàng)作效率。OmniHuman 代表了 AI 數(shù)字人技術(shù)從“上半身動(dòng)畫(huà)”向“全身高保真視頻”邁進(jìn)的重要一步。