近日,網(wǎng)易互娛AI Lab與廣東省知名報刊媒體《羊城晚報》攜手,正式推出了《羊城晚報》“真人AI合成主播”——羊小晚(女)和羊小派(男),他們也是廣東媒體首個視頻類真人AI合成新聞主播。

《羊城晚報》的兩位AI合成主播都是以媒體記者的真人形象為原型,他們不僅容貌高度還原真人,口型也能夠與輸入的音頻精準(zhǔn)匹配。而在這堪比專業(yè)主播的表現(xiàn)力背后,匯集了網(wǎng)易互娛AI Lab在虛擬人制作方面一系列前沿的人工智能技術(shù)。首先,網(wǎng)易互娛AI Lab通過面部運(yùn)動捕捉、三維人臉模型重建、延遲神經(jīng)渲染等技術(shù),快速生成與真人形象無異的數(shù)字人模型;再結(jié)合語音、圖像等多模態(tài)信息聯(lián)合進(jìn)行建模訓(xùn)練,就能讓AI合成主播的唇動與語音完美契合,實現(xiàn)自然流暢的新聞播報。該系統(tǒng)還能適配中、英、日、韓等多種語言情境,滿足國際化內(nèi)容輸出的多樣化需求。

憑借網(wǎng)易互娛AI Lab在虛擬人形象定制和內(nèi)容智能化生產(chǎn)方面的領(lǐng)先技術(shù),該系統(tǒng)只需輸入文本或音頻,即可在幾分鐘內(nèi)快速生成AI合成主播的新聞播報視頻,在降低制作成本、豐富傳播形式的同時,極大地提升了新聞內(nèi)容的生產(chǎn)效率。此外,該系統(tǒng)可以24小時運(yùn)作,不受體力、時間和空間的限制,能確保播讀時不出錯,提高了報道的時效性與質(zhì)量。

隨著互聯(lián)網(wǎng)與信息技術(shù)的發(fā)展,新聞業(yè)正發(fā)生著顛覆性的變化,不論從新聞傳遞的及時性還是表現(xiàn)形式的差異化等方面,新聞生產(chǎn)都面臨著更高的要求與挑戰(zhàn)。AI主播的出現(xiàn),在為傳統(tǒng)紙媒讀者們帶來全新視聽體驗的同時,將以更加高效智能的內(nèi)容自動化生產(chǎn)方式替代過去主要依賴人力來完成的新聞制作環(huán)節(jié),助力傳統(tǒng)媒體融合轉(zhuǎn)型,推動新聞生產(chǎn)的智慧化變革。

此次與《羊城晚報》聯(lián)合推出AI合成主播,只是網(wǎng)易互娛AI Lab虛擬人技術(shù)的眾多落地案例之一,其相關(guān)技術(shù)早在虛擬主播、虛擬主持等多個應(yīng)用場景開花結(jié)果,例如2021浙江衛(wèi)視跨年晚會過場動畫中的虛擬助手、2021 N.Game游戲?qū)W院峰會虛擬主持以及《第五人格》嗶哩嗶哩禿禿杯虛擬主播等背后,都有網(wǎng)易互娛AI Lab的技術(shù)支持。

除了完善的虛擬人技術(shù),網(wǎng)易互娛AI Lab作為游戲行業(yè)領(lǐng)先的人工智能實驗室,在游戲AI、語音語言處理研究和計算機(jī)視覺和3D視覺研究領(lǐng)域也擁有豐富的產(chǎn)品和落地成果。同時,他們也深耕學(xué)術(shù)研發(fā)與創(chuàng)新,不僅橫掃了ACCV、INTERSPEECH、IJCAI等國際人工智能頂會的冠軍,其研究成果還被SIGGRAPH、AAAI、GDC等國際頂級學(xué)術(shù)會議或行業(yè)大會收錄。未來,隨著落地經(jīng)驗的不斷累積和技術(shù)的突破創(chuàng)新,網(wǎng)易互娛AI Lab也會不斷致力于將AI技術(shù)與傳媒、文娛、教育、金融等更廣泛領(lǐng)域的融合,為智慧化生活的未來場景開辟新的空間。

關(guān)鍵詞： 語音 人工智能 視頻 Lab 真人