近日，虎牙公司推出“全方位3D虛擬形象AI驅(qū)動(dòng)”方案，并在虎牙直播開播端上線了實(shí)時(shí)驅(qū)動(dòng)3D虛擬形象開播功能。

據(jù)了解，該方案為直播行業(yè)首個(gè)基于消費(fèi)級(jí)攝像頭的3D虛擬形象面部、肢體、手勢全方位驅(qū)動(dòng)解決方案，可以讓消費(fèi)級(jí)攝像頭完成精準(zhǔn)的動(dòng)態(tài)識(shí)別與捕捉，提升虛擬形象動(dòng)作的還原度、表現(xiàn)力。

近年來，虎牙在實(shí)時(shí)內(nèi)容創(chuàng)作與直播互動(dòng)技術(shù)方向持續(xù)發(fā)力，該方案推出將有助于降低高質(zhì)量內(nèi)容生產(chǎn)門檻，提升直播互動(dòng)體驗(yàn)與用戶粘性，推動(dòng)虛擬直播互動(dòng)模式創(chuàng)新，讓高質(zhì)量虛擬形象直播普惠更多主播。

（實(shí)時(shí)驅(qū)動(dòng)3D虛擬形象開播效果）

破除行業(yè)難題，虎牙以普通攝像頭實(shí)現(xiàn)3D虛擬形象驅(qū)動(dòng)效果

虎牙公司AI技術(shù)負(fù)責(zé)人許佳表示，目前，虛擬形象直播仍處于探索初期階段，絕大多數(shù)主播在直播時(shí)對虛擬形象的驅(qū)動(dòng)只局限于面部表情，且精準(zhǔn)度有限。極少部分主播會(huì)選擇昂貴的動(dòng)捕/光捕穿戴設(shè)備捕捉人體姿態(tài)，用于虛擬形象直播。雖然這一方案效果好、美感高，但設(shè)備、制作、學(xué)習(xí)成本更高，普通主播難以承擔(dān)。因此，虎牙希望通過AI技術(shù)降低開播門檻，讓主播能以普通電腦+攝像頭進(jìn)行虛擬直播，并保證虛擬形象驅(qū)動(dòng)的精準(zhǔn)度和還原度。

為推動(dòng)虛擬直播“內(nèi)容升級(jí)、生產(chǎn)降本”，虎牙于近日推出了自研的“全方位3D虛擬形象AI驅(qū)動(dòng)”方案。據(jù)了解，該方案基于普通單目攝像頭或視頻輸入幀來驅(qū)動(dòng)3D虛擬形象的面部、肢體、手勢手指動(dòng)作等，是全方位的無穿戴3D虛擬形象的驅(qū)動(dòng)。

（亮相ChinaJoy吸引用戶體驗(yàn)）

更精準(zhǔn)、更逼真、低成本、低延時(shí)等，是該方案的另一大優(yōu)勢。例如，通過攝像頭采集的視頻輸入精準(zhǔn)地對主播的人臉和肢體的三維結(jié)構(gòu)進(jìn)行重建，以此作為虛擬主播的驅(qū)動(dòng)信號(hào)，讓其動(dòng)作更加自然逼真；通過虎牙自研的AI模型和推理框架，提升模型性能，實(shí)現(xiàn)低功耗、低延遲，使虛擬直播真正適用于消費(fèi)級(jí)硬件。

此外，該方案與直播平臺(tái)特性、直播場景高度契合，通過輕量化實(shí)時(shí)驅(qū)動(dòng)，主播在虎牙直播PC端能“即點(diǎn)即用”；直播間中，用戶的行為也可觸發(fā)虛擬形象實(shí)時(shí)反應(yīng)，提升互動(dòng)感、增加趣味性。

“AI+直播”潛力仍待挖掘，應(yīng)用場景多元化為行業(yè)帶來想象

值得一提的是，“全方位3D虛擬形象AI驅(qū)動(dòng)”方案中用到了虎牙諸多關(guān)鍵AI技術(shù)，如面部捕捉、肢體驅(qū)動(dòng)、動(dòng)畫重定向、多任務(wù)學(xué)習(xí)等。據(jù)統(tǒng)計(jì)，目前虎牙在相關(guān)技術(shù)上的專利申請已達(dá)到13篇。

虎牙上述方案和功能推出后，收獲了來自媒體、用戶的好評(píng)。在剛剛結(jié)束的2021 ChinaJoy上，虎牙虛擬形象驅(qū)動(dòng)技術(shù)獲央視直播報(bào)道。不少主播、用戶表示，“使用門檻低，虛擬形象逼真，這樣的虛擬形象直播才親民。”

（虎牙AI技術(shù)獲央視報(bào)道）

在許佳看來，“當(dāng)前‘AI+直播’的場景化落地剛剛開始，未來，虎牙將繼續(xù)深挖AI在直播場景中的落地，幫助主播更高效地生產(chǎn)更有趣的內(nèi)容，持續(xù)為用戶創(chuàng)造沉浸式直播互動(dòng)體驗(yàn)。”

展望虛擬直播未來，大幅降低高質(zhì)量內(nèi)容生產(chǎn)門檻，持續(xù)縮減虛擬世界與現(xiàn)實(shí)世界的內(nèi)容消費(fèi)體驗(yàn)差距，將成為行業(yè)趨勢。與此同時(shí)，隨著AI等技術(shù)的應(yīng)用場景日益多元化，如互動(dòng)游戲、短視頻制作、PGC動(dòng)畫生產(chǎn)等，或?qū)�為行業(yè)帶來更多想象。