新腕兒漫劇大會報道

新腕兒漫劇大會結(jié)束后，近期將陸續(xù)發(fā)布嘉賓們的演講內(nèi)容。

3月20日，在新腕兒漫劇大會上，騰訊云音視頻產(chǎn)品架構(gòu)師朱紫星上臺分享關(guān)于《智能媒體新引擎：騰訊云音視頻助力漫劇生產(chǎn)與提效》的主題演講。

以下為演講全文：

大家好，我是騰訊云音視頻產(chǎn)品架構(gòu)師朱紫星，很高興來跟大家分享，我今天的演講主題是《騰訊云音視頻助力漫劇生產(chǎn)跟提效》。

我們正站在內(nèi)容生產(chǎn)變革的十字路口，漫劇行業(yè)向穩(wěn)定、工程化方向在發(fā)展因此，我主要是想探討如何利用騰訊云沉淀多年的音視頻技術(shù)，結(jié)合最新的AIGC模型，重構(gòu)漫劇生產(chǎn)力。

主要從漫劇的生產(chǎn)端、運營宣發(fā)端的兩個環(huán)節(jié)，結(jié)合媒體處理和云點播能力，助力漫劇生產(chǎn)提效，賦能漫劇的宣發(fā)創(chuàng)新。

首先從市場數(shù)據(jù)看到，目前全球多模態(tài)AIGC正在進(jìn)行爆發(fā)，AIGC產(chǎn)出的視頻、圖文素材增速驚人，對漫劇行業(yè)來講，為漫劇資產(chǎn)生成、運營帶來顯著增益和提效。面臨各類內(nèi)容需求的高頻化，對漫劇行業(yè)來說也是在制作和生產(chǎn)運營環(huán)節(jié)面臨效率和成本的瓶頸問題。

比如說在生產(chǎn)時間限制下需要平衡質(zhì)量跟成本。在運營成本限制下，運營環(huán)節(jié)面臨著海量劇集高效宣發(fā)的需求，體驗、效率和規(guī)模存在矛盾。

結(jié)合AIGC資產(chǎn)生成模型，我們媒體處理超分降本、音視頻全流程質(zhì)檢精準(zhǔn)切入，助力解決一些生產(chǎn)、運營環(huán)節(jié)的核心矛盾、難題，助力漫劇行業(yè)向更加穩(wěn)定和流程化的方向發(fā)展。

第一塊是助力生產(chǎn)提效。從整個漫劇制作鏈路來看，我們將騰訊云音視頻的原子能力深度嵌入到工作流環(huán)節(jié)中。比如從劇本生成、角色庫搭建、分鏡生成，到分鏡轉(zhuǎn)動畫，我們提供AI配音、智能字幕、視頻后處理的轉(zhuǎn)碼和增強(qiáng)能力，相當(dāng)于是每個環(huán)節(jié)都會有相應(yīng)的AI技術(shù)支撐。

在AIGC生成環(huán)節(jié)，行業(yè)頭部AI模型統(tǒng)一接入。以混元大模型為基礎(chǔ)，同時兼容多家頭部AIGC模型能力，提供多樣化模型服務(wù)不同畫風(fēng)、業(yè)務(wù)、場景的需求。包括文生圖、圖生圖、文生視頻、圖生視頻生成式AI的能力，滿足角色圖、分鏡圖以及后續(xù)的視頻生成。

通過騰訊云的能力，可以實現(xiàn)底層能力的平滑遷移以及動態(tài)升級。

漫劇垂直場景下，我們可以做一些場景化的調(diào)優(yōu)，比如場景化的模板，幫助創(chuàng)作者快速生產(chǎn)及漫劇轉(zhuǎn)繪。

這里有一些簡單的示例，這里我們也是把很多AI技術(shù)能力做整合，包括智能場景分鏡識別、切分，角色識別、風(fēng)格遷移等等能力，快速產(chǎn)出和原始視頻音畫同步的動畫視頻。從風(fēng)格來說，如果已經(jīng)有一些成熟的真人短劇素材，可以快速產(chǎn)出一個高質(zhì)量的動漫版本的視頻。

在一站式調(diào)用AIGC模型生成出大量素材之后，結(jié)合媒體處理能力來覆蓋整個內(nèi)容制作全流程，比如說音視頻增強(qiáng)能力結(jié)合細(xì)節(jié)增強(qiáng)、超分、視頻插幀，還有一些大模型增強(qiáng)的能力，當(dāng)然，我們直出4K、60幀的視頻，讓AI生成的內(nèi)容可以滿足一些頂級素材的要求。再結(jié)合媒體智能里的AI配音、智能字幕生成，以及水印去除等能力實現(xiàn)全鏈路AI處理。

我接下來重點介紹媒體處理漫劇生產(chǎn)的三個降本增效方案：

第一，在處理漫劇前期素材時，無論是宮格分鏡圖還是傳統(tǒng)分鏡圖，或者人工拆圖的方式都比較耗時，成本比較高。我們結(jié)合拆圖能力，可以一鍵拆成想要的任意單圖，同時疊加質(zhì)量修圖能力，對于分鏡圖中模糊場景自動增強(qiáng)，人臉細(xì)節(jié)會更加清晰，對于分鏡中的水印和純色邊界都可以處理。相對于傳統(tǒng)方式，可以降本增效。

第二個方案是AIGC結(jié)合超分技術(shù)做的生產(chǎn)降本。如果想要生成更高的分辨率，算力成本會對應(yīng)增加，推理時間增長。如果結(jié)合媒體處理的分辨率技術(shù)實現(xiàn)降本增效，可以先生成一個低分辨率，結(jié)合綜合增強(qiáng)降噪能力轉(zhuǎn)碼為高品質(zhì)視頻，比直接生成一個720P或者1080P視頻的降本增效更加明顯。

第三個方案是騰訊云自研的大模型修復(fù)，在一些復(fù)雜場景、精細(xì)元素構(gòu)建中出現(xiàn)崩壞、抖動，或者光影色彩異常等問題，結(jié)合AIGC修復(fù)大模型，通過自研的多幀DIT大模型訓(xùn)練，優(yōu)化細(xì)節(jié)抖動、崩壞的區(qū)域修復(fù)。

通過多模態(tài)語義和像素級智能重建技術(shù)，生成過程中幀的過渡會更加自然，修復(fù)后的畫面整體連貫性明顯提升，這樣可以適用于一些影視劇、短劇、漫劇等高價值場景。

音頻字幕方面，我們支持豐富的人物音色、語調(diào)、情感和多語言輸出，同時附有字幕擦除、提取和翻譯功能。

為了方便開發(fā)者，我們也跟閱文的漫劇助手聯(lián)動，提供專業(yè)的漫劇SaaS平臺，開箱即用。

這里也簡單介紹一下閱文的漫劇助手，不僅提供海量正版閱文IP授權(quán)，還結(jié)合一站式漫劇工作流，還有自定義內(nèi)容資產(chǎn)庫，輔助IP從劇本到分鏡頭、整體視頻的全流程創(chuàng)作。

第二板塊，聚焦宣發(fā)運營時，多模態(tài)營銷素材的生和海量劇集高效宣發(fā)的需求。

我們在產(chǎn)出大量內(nèi)容素材后，需要進(jìn)行高效分發(fā)。在分發(fā)環(huán)節(jié)時，需要極速高清轉(zhuǎn)碼的能力，結(jié)合像智能場景的識別，動態(tài)編碼匹配，還有像畫質(zhì)增強(qiáng)等處理能力和視頻編碼內(nèi)核能力，使得視頻在保持畫質(zhì)更優(yōu)的情況下，大幅降低視頻碼率，從而降低媒資、存儲分發(fā)的成本。

這是我們比較領(lǐng)先的內(nèi)核能力，支持所有主流視頻編解碼標(biāo)準(zhǔn)，在近幾年的MSU視頻編解碼大賽都是屬于全球領(lǐng)先的第一梯隊位置。

第二點是漫劇生產(chǎn)過程中，想要工業(yè)化發(fā)展時，質(zhì)量監(jiān)控也是個重要環(huán)節(jié)。我們提供音視頻全流程質(zhì)檢能力，從格式檢測到內(nèi)容畫面檢測，比如你的畫面中是否有模糊、低光照，或者花屏等問題，以綜合性的主觀畫質(zhì)評分，通過這種全流程質(zhì)量監(jiān)控體系可以保證從海量素材中找出高質(zhì)素材，保證輸出的每一集劇集都是高質(zhì)量作品。

接下來就是我們有一些媒體AI的工具來助力我們做一些營銷素材的加工，包括像一些智能的擦除，然后視頻的拆條，精彩集錦等這些媒體AI處理的一些能力，它主要是依托一些多模態(tài)的大模型來實現(xiàn)多場景視頻智能處理，從而提升我們內(nèi)容生產(chǎn)的效率和質(zhì)量。

比如擦除功能，是我們目前比較領(lǐng)先的能力。基于自研的一些多模態(tài)視覺大模型，實現(xiàn)字幕、水印自動的無痕擦除。

對于一些比較復(fù)雜的場景，像半透明文字、花字、復(fù)雜視頻，即便背景紋理比較復(fù)雜，也可以做相應(yīng)的處理。

還有高光集錦生成，都可以幫助大家快速制作宣發(fā)物料。比如高光集錦，通過大模型對整個視頻理解定義一些提示詞，提取出主角出場時刻你想要的精彩片段。AI解說劇也可以通過你輸入一個原始視頻，不需要再做其他處理，就能自動生成一個全新的解說版本視頻。

還有像橫轉(zhuǎn)豎、豎轉(zhuǎn)橫的能力，是為了靈活復(fù)用一些已有的素材，比如已有的橫屏視頻，想要在移動互聯(lián)網(wǎng)端再分發(fā)一次，我們也支持AIGC生成式的橫轉(zhuǎn)豎，或者豎轉(zhuǎn)橫。它可以自動地識別畫面布局和人物構(gòu)圖等，增加整體劇情連貫性和視覺畫面完整性。

通過這種方式也是能夠靈活的復(fù)用已有的內(nèi)容，降低一些重新制作的成本。

第三部分主要是簡單介紹下我們音視頻PaaS矩陣。

我們音視頻能力具備大規(guī)模分發(fā)網(wǎng)絡(luò)，領(lǐng)先視頻編解碼內(nèi)核的能力，以及一些深厚AI算法儲備，提供低延時超高清的一站式音視頻解決方案，滿足不同企業(yè)在不同場景下的音視頻需求。

像目前我們大部分頭部客戶已經(jīng)通過騰訊云的音頻方案制作內(nèi)容，我們也期待音頻技術(shù)的驅(qū)動實現(xiàn)效率的革新。

時間有限，我講得可能稍微有些倉促，如果大家對我們產(chǎn)品或技術(shù)有興趣，歡迎線下交流！

了解短劇，請關(guān)注新腕兒。

加入新腕兒社群請掃碼。