去年Open AI祭出了大殺器Sora,一度被認為是生成式AI領域的里程碑式存在。
但沒想到“續集”來得這么快,時隔一年,OpenAI又推出了其視頻生成模型Sora的升級版本Sora2,并同步發布了一款配套的移動應用程序。
新模型在物理真實性、動作連貫性以及多模態協同生成方面實現了顯著突破。
Sora2能更精準地模擬物體的運動規律與交互邏輯,真實呈現體育動作、復雜人體動態等高難度場景。相比前代依賴分鏡頭生成后拼接的方式,Sora2支持端到端生成更長、更連貫的視頻序列,大幅增強敘事能力與視覺沉浸感。
如果說初代Sora是視頻生成領域的GPT-1,那Sora2就是邁進了視頻領域的GPT-3.5時刻。
Sora2能夠真正理解物理世界,更真實地模擬物理定律,處理復雜的動態交互;完成一些對于以往視頻生成模型來說極其困難、甚至完全不可能實現的任務,比如:
奧運會級別的體操動作。
Prompt: a gymnast flips on a balance beam. cinematic
提示詞:一名體操運動員在平衡木上翻騰跳躍。電影感畫質。
站在槳板上后空翻,同時準確模擬浮力與剛性力學特性。
Prompt: a man does a backflip on a paddleboard
提示詞:一名男子在槳板上完成后空翻動作。
或者頭頂貓咪,做三周半跳。
Prompt: figure skater performs a triple axle with a cat on her head
提示詞:花樣滑冰運動員頭頂一只貓,完成一個三周半跳動作。
在Sora2之前的生成模型往往過于“樂觀”,會強行完成指令。為了成功執行文本指令,模型會隨意改變物體的形態,甚至扭曲現實。例如,如果運動員投籃失敗,球可能會自己“飛”進籃筐。
但Sora2不同,如果球員投籃不中,球會正常地從籃板上彈回。Sora2不再是生硬地執行命令,而是嘗試模擬一個真實存在的“角色”行為,模型中的“錯誤”更像是視頻里“角色”的行為失誤,而非物理定律的崩壞。
能夠模擬"失敗"而不僅僅是"成功",這對于構建可信世界至關重要。盡管還不夠完美,但相比以前的模型動不動就讓物體“穿墻”或“瞬移”,Sora2已經能夠很好地遵循物理規律了。
多鏡頭連貫敘事+高級可控性
除此之外,Sora2在可控性上也有了巨大進步。能夠遵循跨越多個鏡頭的復雜指令,持續保持場景狀態一致,無需逐段生成再拼接;無論是電影級敘事、動畫分鏡,還是風格統一的短視頻系列,都能一氣呵成。
Prompt: Vikings Go To War — North Sea Launch (10.0s, Winter cool daylight / early medieval)...
提示詞:維京人出征作戰——北海啟航(10.0秒,冬日清冷的日光 / 早期中世紀)…
Prompt: in the style of a japanese anime, the hero with white hair awakens his dormant powers. his body is enveloped in a blue and black fiery aura and markings grow to cover his face and body, a deep ancient power finally awakened...
提示詞:以日本動漫風格呈現,白發主角覺醒沉睡的力量。他的身體被藍黑色的火焰能量包裹,神秘紋路逐漸蔓延至面部與全身,一股古老而深邃的力量終于蘇醒…
在生成逼真、電影感,和動漫風格畫面方面表現尤為出色。
Prompt: in the style of a studio ghibli anime, a boy and his dog run up a grassy scenic mountain with gorgeous clouds, overlooking a village in the distant background
提示詞:以吉卜力工作室動漫風格呈現,一個男孩和他的狗奔跑在綠草如茵的山丘上,天空云卷云舒,遠景中是寧靜的村莊,風景如畫。
Prompt: in the style of a japanese anime, a jubilant scene under a limitless bright sky brimming with clouds and sparkling stars...
提示詞:以日本動漫風格呈現,在無垠的明亮天空下,白云與閃爍星辰交相輝映,一幅充滿喜悅與希望的場景……
音頻同步生成
Sora2首次實現了端到端音視頻聯合生成。作為通用型視頻與音頻生成模型,能夠創造出高度逼真的復雜背景音效等,大大增強了沉浸感與真實感。
自動生成符合場景的背景音效(雨聲、城市噪音等)
生成自然的對話內容,支持多種語言
重試重試重試重試重試重試重試重試重試重試重試重試重試重試重試重試
匹配動作的環境音與擬音(腳步聲、碰撞聲等)
也就是說,在Sora2中,聲音不再需要后期添加,而是與畫面共同“生長”出來。
全新功能Cameo
一秒“入鏡”AI世界
Sora2的強大可不止上面這些,它還推出了名為Cameo的創新功能-顧名思義,讓用戶可以把自己“放進”AI世界; 模型能準確還原外貌和聲音,并將其自然地融入任何由Sora生成的場景中。
Prompt: Bigfoot is really kind to him, a little too kind, like oddly kind. Bigfoot wants to hang out but he he wants to hang too much
提示詞:大腳怪對他真的很好,好得有點過分,那種好法甚至有點奇怪。大腳怪想和他一起玩,但他實在太黏人了。
Prompt:@daniel and @duxin in an arm wrestling match, you decide who wins
提示詞:@daniel和@duxin正在較勁掰手腕,勝負將由你決定。
Prompt: Add @kendra except she can actually fly
提示詞:在畫面中 加入@kendra,不過這次要設定她真的會飛
Sora2的這一功能有很強的通用性,適用于任何人、動物或物體。用戶可以通過一段簡短的錄音錄像,創建自己的數字形象,將數字形象、寵物或特定物品融入AI生成的視頻場景中。
Prompt: an ostrich steals dads hat and dad chases after it
提示詞: 一只鴕鳥搶走了爸爸的帽子,爸爸在后面緊追不舍
Prompt: @rohan rides a bucking ostrich
提示詞: @rohan騎在一匹尥蹶子的鴕鳥背上
Prompt: @rocket is a superpowered superhero dog, flying through the sky and saving new york city
提示詞:@rocket是一只擁有超能力的超級英雄狗,正在紐約市上空飛翔救援。
Prompt: @daniel plays trumpet in the middle of a stampede of zebras
提示詞: @daniel在橫沖直撞的斑馬群中吹奏小號
Cameo必須經過身份驗證才能啟用,且用戶完全掌握自己的肖像使用權,可隨時撤銷授權、刪除含自己形象的視頻;同時嚴格限制未成年人使用Cameo,家長可通ChatGPT管理設置。
安全機制全面升級
自動生成水印與內容溯源標識
強化自動審核系統 + 擴大人工審核團隊
防止生成有害內容、欺凌或非授權使用他人形象
Sora強調應用的核心是"創作"而非"消費", 自Sora2起,Sora不再只是一個工具,而是變成了AI原生社交創作平臺。目前Sora App已經在IOS上線(美國、加拿大首發,邀請制),Android版本正在開發中。
入手前,寶子們可以先看看Sora2生成的視頻:
Prompt: a group people playing volleyball
提示詞:一群人正在打排球
Prompt: a guy does a backflip
提示詞:一個男生完成后空翻動作。
Prompt: man does a cannonball off diving board
提示詞:一名男子從跳水板上跳下,完成團身入水
Prompt: a man rides a horse which is on another horse
提示詞:一名男子騎在一匹馬上,而這匹馬又站在另一匹馬上
Prompt: a dalmatian deftly walks runs and hops his way through a complex obstacle course in burano italy
提示詞:一只斑點狗在意大利布拉諾島的復雜障礙賽道中靈巧地行走、奔跑,跳躍前行
對CG行業的潛在影響
Sora2的問世,對于獨立創作者、小型工作室和個人用戶,Sora2大幅降低了制作門檻與成本。無需昂貴的硬件、專業的軟件技能和龐大的團隊,就可以快速生成概念圖、故事板和預覽鏡頭等,加速了前期制作流程,也讓影視級特效、動畫創作更加平民化。
不僅如此,Sora2能夠輕松實現奇幻、歷史場景或復雜物理特效等拍攝成本較高的場景;“客串”功能更簡化了將真人表演融入虛擬場景的過程,減少了實拍和后期合成的工作量;音頻同步生成又進一步簡化了音畫配合的流程。
說完了積極的,還是要聊聊CG行業未來也許要面臨的挑戰與沖擊。
隨著Sora等AI工具的不斷發展,一些基礎的建模、動畫、渲染、特效合成等工作可能會被替代或簡化,導致相關領域對初級或中等技能從業者的需求減少;CG工作室未來需要適應新的工具鏈,并重新思考其業務模式和人才結構。
另外,雖然Sora2的可控性又了大幅提升,但基于大規模數據訓練的模型仍可能產生某種“模型風格”,導致創作風格趨同;過度依賴AI生成,還可能導致原創設計和手工藝技能的退化,削弱作品獨特性和藝術家的個人印記。
再有就是老生常談的版權與倫理問題,盡管OpenAI強調了控制權,但“Cameo”功能涉及個人形象和聲音的深度使用,仍然存在濫用和偽造的風險。
Sora2
不過,大家也不用過分焦慮,說得再天花亂墜也得真正試了才知道。小編先替大家淌了淌Sora2的水,效果怎么樣,咱這就來看看。
Prompt:Twilight-style vampires Go To War — North Sea Launch (10.0s, Winter cool daylight / early medieval)...
提示詞:暮光風格吸血鬼開戰——北海出擊(10秒時長,冬日清冷日光 / 早期中世紀風格...)
畫面穩定性、光影氛圍與畫質控制方面表現還是很出色的,結合精準同步的音視頻輸出,可以看出Sora2在連續性和沉浸感上已明顯超越上一代了。
小編第二個生成的,是一段吉卜力風格的動畫。
Prompt:in the style of a studio ghibli anime,a jubilant scene under a limitless bright sky brimming with clouds and sparkling stars...
提示詞:以吉卜力工作室動畫風格呈現,一個歡快的場景展現在無垠的明亮天空下,白云朵朵,繁星閃爍,充滿夢幻與希望…
整體風格甜美夢幻、治愈且充滿蓬勃生命力,除了……男主的那只過度拉長、脫離解剖邏輯的手;即使是在二次元也顯得過于離譜。
最后生成的,是一個運動員跳水慢動作鏡頭。
Prompt:Cinematic slow-motion capture of a gymnast transitioning from a graceful twist in the air to a perfect head-first rip entry into the crystal-clear water of an Olympic pool. Sunlight filters through the water, illuminating the stream of bubbles and the athlete's powerful underwater strokes that further dissipate any splash. The overall atmosphere is one of focused intensity and breathtaking beautys...
提示詞:電影級慢動作鏡頭,運動員從空中優雅旋轉,完美完成頭朝下筆直入水,扎入奧運標準泳池清澈見底的水面。陽光穿透水面,照亮一路上升的氣泡流,以及運動員入水后強而有力的劃臂動作,將所有水花進一步消散于無形。整體氛圍充滿專注的力量感與令人屏息的美感。
該夸的必須得夸,Sora 2的鏡頭語言和視覺節奏感確實出色,運鏡流暢、構圖考究。
BUT,盡管Sora 2在理解物理世界、模擬真實動力學方面取得了顯著進步,其物理一致性仍未達到完全可靠的水平。可以看到第一個入水鏡頭,人物肩胛與軀干的形變明顯違背人體運動規律,呈現出一種“肌肉緊繃式跳水”的詭異姿態;進度條拖至第8秒,更離譜的來了-水面倒影竟然脫離本體獨立了?!慢鏡頭動作爆改恐怖片可還行……
除了大家看到的這些畫面上的常規錯誤,部分場景和小編腦海里構思的場景也相差甚遠;這么看來雖然進步巨大,但與CG制作可調整、可定制化想必,還是有很大一段距離啊。
Sora 2代表了視頻生成和世界模擬領域的重大進步,不可否認,未來隨著不斷迭代它還會更加強大。對CG行業而言,當技術門檻降低,人人皆可"創作"時,內容的藝術價值、敘事深度和情感共鳴將成為更核心的競爭力。
在積極擁抱技術變革的同時,我們更應堅守創作的初心,畢竟真正打動人心的,從來不是工具,而是背后的思想與情感。
-今日互動-
聽說長得好看的人都給我點贊贊了
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.