近日，抖音與火山引擎超清修復(fù)了“Beyond1991生命接觸演唱會(huì)精選”“別了家駒十五演唱會(huì)精選”兩場(chǎng)演唱會(huì)。修復(fù)后的效果立竿見(jiàn)影，無(wú)論是在畫(huà)面還是音質(zhì)上都有了質(zhì)的提升，讓人眼前一亮，不少網(wǎng)友看后歡呼“爺青回”。這究竟是如何做到的，以后老舊音像資料都可一鍵翻新嗎？
超清修復(fù)，幾代人的青春記憶被喚醒
據(jù)了解，為了提升觀看和聽(tīng)感體驗(yàn)，再現(xiàn)Beyond經(jīng)典之作，火山引擎對(duì)其從畫(huà)質(zhì)和音質(zhì)兩個(gè)方面進(jìn)行了修復(fù)?！拔覀兊哪繕?biāo)是從畫(huà)面整體清晰度、人像五官?gòu)?fù)原度、色彩亮度、流暢度、美觀度等方面對(duì)畫(huà)質(zhì)進(jìn)行提升。”火山引擎相關(guān)負(fù)責(zé)人介紹。
修復(fù)后，人物面部的胡須、毛孔清晰可見(jiàn)，給觀眾帶來(lái)更佳視覺(jué)感受。正如有網(wǎng)友觀后感稱(chēng)，“超清修復(fù)后，看到了黃家駒細(xì)微的表情和眼中的光。”在畫(huà)質(zhì)上，視頻分辨率從不足540p提升到接近4K水平，幀率從25fps提升到60fps。
在音質(zhì)修復(fù)方面，火山引擎音頻技術(shù)團(tuán)隊(duì)通過(guò)音頻降噪、音頻超分和響度算法，消除噪聲提升音質(zhì)，解決響度、噪聲干擾、帶寬不足等問(wèn)題。修復(fù)后在保留音樂(lè)和人聲的前提下，抑制了周?chē)肼?，原始音頻的高頻部分還得到了拓展和增強(qiáng)。
實(shí)際上，超清修復(fù)不只是提升了音畫(huà)清晰度，修復(fù)的還是影像背后的記憶，幾代歌迷因?yàn)锽eyond隔空產(chǎn)生的共鳴和火花。例如，這次參與畫(huà)質(zhì)修復(fù)技術(shù)團(tuán)隊(duì)都是90年后出生的，他們?yōu)榇烁械脚d奮和驕傲。
北京大學(xué)法學(xué)院副教授江溯也是資深Beyond歌迷，他表示，Beyond的歌伴隨自己走過(guò)漫長(zhǎng)歲月——到城里讀大學(xué)，考上研究生以及讀博士、出國(guó)學(xué)習(xí)，最終成為法學(xué)學(xué)者，甚至記不清自己打開(kāi)多少次這場(chǎng)熟悉的演唱會(huì)視頻。
在7月3日的“Beyond超清修復(fù)演唱會(huì)官宣”直播中，無(wú)數(shù)網(wǎng)友在屏幕上打出，“看哭了。”“在漫長(zhǎng)的黑夜，beyond無(wú)數(shù)次給我力量?！薄爱?dāng)年陪我看DVD的朋友，你現(xiàn)在在哪里?！薄?0后報(bào)到、90后報(bào)到、00后報(bào)到……”這場(chǎng)直播最終以1.4億人次觀看的成績(jī)落幕。
如何做到的，背后用了哪些“黑科技”？
一般來(lái)說(shuō)，老舊音像作品畫(huà)面模糊不清、受損嚴(yán)重；受限于原來(lái)的拍攝設(shè)備和環(huán)境，底噪較大，影片存在大量的過(guò)曝與死黑場(chǎng)景；上個(gè)時(shí)代的視頻編碼器壓縮效率低，會(huì)導(dǎo)致壓縮噪聲和紋理丟失，等等。
所以說(shuō)對(duì)這種老舊作品的修復(fù)，難度可想而知。那么火山引擎究竟怎樣做到的呢？尤其市面上做老舊音像作品修復(fù)的企業(yè)也不少，火山引擎有什么不一樣嗎？一個(gè)顯著區(qū)別是，一些企業(yè)普通的畫(huà)質(zhì)修復(fù)算法對(duì)人臉處理不夠精細(xì)，可能是一個(gè)“模板”處理所有視角，而火山引擎自研了自適應(yīng)人像增強(qiáng)算法。
據(jù)介紹，本次Beyond演唱會(huì)人臉有不同大小(近景/中景/遠(yuǎn)景)、不同姿態(tài)(側(cè)臉/俯視/仰視)的場(chǎng)景，如何調(diào)節(jié)不同大小、姿態(tài)的人像修復(fù)效果而且跟背景不會(huì)造成明顯差異，成了本次修復(fù)的一個(gè)難點(diǎn)。
“針對(duì)演唱會(huì)場(chǎng)景中多角度的人臉，包括正臉，側(cè)臉，俯視，仰視，還有一些被樂(lè)器/話筒遮擋的人臉，火山引擎自研的自適應(yīng)人像增強(qiáng)算法在各種極端場(chǎng)景下都有較好的修復(fù)效果，穩(wěn)定性強(qiáng)。”火山引擎多媒體實(shí)驗(yàn)室研究員趙世杰表示。
趙世杰進(jìn)一步表示，基于深度學(xué)習(xí)模型，自適應(yīng)人像增強(qiáng)算法在消除人臉整體的模糊和壓縮損傷的同時(shí)，進(jìn)一步對(duì)人臉關(guān)鍵的五官重建，對(duì)眼睛、嘴巴、耳朵、皮膚甚至發(fā)絲都進(jìn)行了細(xì)節(jié)重建和紋理添加，使得人臉清晰度更高更真實(shí)。
火山引擎音頻技術(shù)團(tuán)隊(duì)研究員舒曉峰表示，火山引擎音頻降噪算法針對(duì)音樂(lè)場(chǎng)景和人聲場(chǎng)景實(shí)現(xiàn)了一個(gè)兼容的AI降噪算法，可以保留人說(shuō)話/唱歌/音樂(lè)的同時(shí)，抑制其他的噪聲。
除了算法上的優(yōu)勢(shì)，在應(yīng)用場(chǎng)景上，火山引擎也具備得天獨(dú)厚的條件。抖音、西瓜視頻等業(yè)務(wù)每天都會(huì)收到用戶(hù)海量的投稿，這里面既有 UGC，也有PUGC的，有專(zhuān)業(yè)的視頻，也有業(yè)余的拍攝，質(zhì)量參差不齊，這些投稿都會(huì)經(jīng)過(guò)火山引擎的自動(dòng)優(yōu)化處理，對(duì)清晰度、色彩、瑕疵、失真等做自動(dòng)的修復(fù)。“總結(jié)來(lái)說(shuō)，我們擁有一個(gè)非常豐富的應(yīng)用場(chǎng)景去優(yōu)化迭代算法?！被鹕揭嫦嚓P(guān)負(fù)責(zé)人介紹。
AI修復(fù)，會(huì)成為老舊音像作品修復(fù)“救星”？
據(jù)介紹，本次抖音直播超清修復(fù)的Beyond演唱會(huì)中，還應(yīng)用了火山引擎畫(huà)質(zhì)全鏈路端到端解決方案。該解決方案主要包括服務(wù)端分析系統(tǒng)、服務(wù)端視頻處理系統(tǒng)，客戶(hù)端解碼后處理系統(tǒng)。
一個(gè)完整的視頻消費(fèi)鏈路包括了上傳、轉(zhuǎn)碼、傳輸、消費(fèi)等，火山引擎在其中的多個(gè)環(huán)節(jié)中對(duì)視頻內(nèi)容進(jìn)行畫(huà)質(zhì)、碼率、體驗(yàn)的優(yōu)化。
以服務(wù)端視頻處理系統(tǒng)為例，它可根據(jù)上一環(huán)節(jié)輸出的最優(yōu)策略進(jìn)行處理，組合多種算法模塊包括超分、降噪、HDR、編碼前處理、采樣等，該過(guò)程先獲取視頻畫(huà)質(zhì)的上限，然后從碼率出發(fā)進(jìn)行編碼預(yù)處理。
值得注意的是，這樣的技術(shù)除了應(yīng)用在抖音中，也會(huì)對(duì)外開(kāi)放。“修復(fù)經(jīng)驗(yàn)以及相關(guān)技術(shù)能力可以便捷地應(yīng)用到其他的場(chǎng)景或者行業(yè)中?！壁w世杰指出，目前這些技術(shù)能力均已通過(guò)火山引擎視頻云、音頻技術(shù)產(chǎn)品開(kāi)放給外部。
修復(fù)不僅僅應(yīng)用在演唱會(huì)、短視頻等領(lǐng)域，2021年10月，西瓜視頻及火山引擎推出“經(jīng)典視頻4K修復(fù)計(jì)劃”，計(jì)劃通過(guò)技術(shù)手段，一年內(nèi)修復(fù)百部經(jīng)典動(dòng)畫(huà)片，目前已完成71部。
修復(fù)經(jīng)典是傳承，也是用數(shù)字技術(shù)最大化還原作品，帶來(lái)視聽(tīng)新感受?！拔磥?lái)，我們會(huì)聯(lián)合火山引擎修復(fù)更多經(jīng)典影像，讓經(jīng)典煥發(fā)新生?！倍兑粝嚓P(guān)負(fù)責(zé)人表示。