網易首頁 > 網易號 > 正文 申請入駐

聽歌、看視頻就能做網頁?阿里這個新模型有點離譜

0
分享至

大家好,我是冷逸。

剛剛,阿里發布了新一代全模態模型:Qwen3.5-Omni


從bench成績單來看,它的整體性能已經超過了當前頂級模型Gemini-3.1-Pro,拿下215項SOTA。尤其是在音視頻理解、推理、識別、翻譯和對話這些核心能力上,表現相當突出。


更有意思的是,這次Qwen3.5-Omni還把API分成了兩種形態:離線版 + 實時版。

這個設計,看似簡單,其實非常關鍵。

對于動輒幾個小時的長視頻場景,如果全部用實時API處理,Token成本會非常夸張。而離線API的出現,本質上是把這類“重處理任務”的成本打了下來。

比如:

視頻/直播審核

自動分鏡拆解

視頻caption生成

視頻監控分析

以及基于視頻數據構建的行業應用

過去這些,要么貴,要么慢,要么效果不穩定。而現在,終于有一個相對完整的國產全模態模型,把這塊補上了。

我們也第一時間做了一些實測,直接上案例。


一手實測

場景1:看視頻做網頁

這個月初,來自深圳坪山的一家民營企業,發明了一種新的電池技術:無論多大電池,無論何種車型,10%-70%充滿電只用5分鐘,10%-97%充飽電只用9分鐘。

我把他們的電池技術介紹視頻,直接丟給Qwen3.5-Omni,讓它一邊理解視頻內容,一邊Vibe Coding一個技術展示網頁。

整體體驗是:流暢、順滑,而且“基本能用”。

它對畫面和臺詞的理解是到位的,生成的網頁結構也比較合理。不過有一個小問題——當人聲和背景音同時出現時,它還不太擅長做精確區分。

但好在一點:可以隨時打斷。

在交互過程中,我可以實時插入新的指令,它會立刻調整意圖理解方向,延遲大概在1-2 秒左右,這個響應速度在行業里算是比較領先的了。

來看下它最終寫的網頁。




還不錯,因為模型原生具備WebSearch能力的,它可以邊搜索、邊理解、邊生成,最終把外部信息融合進交付結果里。

場景2:聽音樂做網頁

既然能看視頻Vibe Coding,那我就試了一個更抽象的任務:聽音樂設計網頁。

我給它放了一段《黑神話:悟空》的配樂,讓它生成一個「西游·小西天」主題網站,要求風格完全貼合音樂氛圍。

結果有點驚喜。

它準確抓住了音樂里的史詩感、壓迫感和宗教氛圍,整體設計走的是“暗黑新中式”風格:深墨黑 + 暗金 + 朱砂紅。

而且不是簡單堆顏色,而是有意識地“壓金提黑”,做出了一種被侵蝕的莊嚴感,有點“邪佛”的意味。確實非常適合黃眉老怪那種“假作真時真亦假”的詭譎氛圍。

這種審美理解,其實已經不只是“識別”,而是帶一點“創作參與”了。

我又讓它做了一個更完整的Case:聽一首歌,生成一個MV網頁。

選的是謝霆鋒的《香水》。

結果是:完成度很高,而且氛圍感很準。

整體視覺是深黑背景 + 柔金點綴,帶一點高級、克制的情緒。交互上還做了蝴蝶粒子效果,呼應歌曲中“慢慢散去漸漸消失不見”的意境。

這種設計,不是單純“好看”,而是和歌曲的主題「記憶、逝去、氣味」是對齊的。

屬于那種,你真的會想停下來聽一會兒的作品。

場景3:看視頻寫小紅書

接下來是更“接地氣”的場景。

我把《蜘蛛俠4》的預告片丟給它,讓它做一份觀影前科普。


它會逐幀拆解視頻,再結合 WebSearch,把劇情信息補全。整體邏輯是通的,準確率也不錯。

(可上下滑動,查看全圖)

順手,我還讓它寫了一段小紅書文案,質量也在線——這塊本來就是Qwen3.5的強項。


場景4:視頻深度拆解

最后,我直接拉高難度,讓它一次性輸出三件東西:劇情概要、人物關系圖譜、分鏡說明。


結果是:能交付,而且還挺細。

這是劇情概述。


這是人物關系圖譜。


甚至,我還讓它直接整了個更直觀的網頁版。


這是分鏡說明,非常詳細。

(可上下滑動,查看全圖)

5)更多場景

根據官方信息,這個模型最長支持:

  • 10小時音頻

  • 1小時視頻

  • 113種語言

  • 256K上下文

同時支持113種語種識別、36種語種生成,方言也覆蓋。

并且原生支持WebSearch 和復雜Function Call,使得它可以勝任各種多模態任務。

比如視頻創作、分鏡生成、直播審核以及基于video生成數據等。

這些原本需要大量人工參與的環節,現在都有機會被重構。


整個體驗下來,我的感受是:

Qwen3.5-Omni,不只是“更強”,而是開始變得“更有用”。

它在音視頻理解上的能力,已經從“能看懂”,逐漸走向“能參與”。

無論是長視頻內容拆解、實時語音交互,還是跨語言的信息提取,它都能比較穩定地給出結構化、可用的結果。這種能力,一旦接入到真實業務流程里,價值會被迅速放大。

多語言這一點也很關鍵。過去很多多模態模型,本質上還是“英語優先”,其他語言多少有點“兼容”。但Qwen3.5-Omni的表現更像是“原生多語種”,這意味著它天然適合做跨地區、跨文化的產品,無論是內容理解、客服系統,還是全球化分發,門檻都在被拉低。

更值得一提的是,這次還提供了離線和實時兩套API,本質上是在給開發者更多“成本-性能”的選擇權:能離線處理的任務,就用更低成本批量跑;需要即時響應的場景,再調用實時能力。

這樣一來,很多原本算不過賬的場景,突然就能成立了。

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
難怪美國一點不慌,原來真有內鬼輸血!1200噸戰略物資被悄悄賤賣

難怪美國一點不慌,原來真有內鬼輸血!1200噸戰略物資被悄悄賤賣

起喜電影
2026-04-26 03:31:05
1995年,在北京蝸居13年的吳德病逝,留下三行遺囑令人落淚

1995年,在北京蝸居13年的吳德病逝,留下三行遺囑令人落淚

蔣南強讀歷史
2026-04-26 09:30:06
性能力與壽命關系被發現!男性40歲后,睪酮越高,死亡風險越低

性能力與壽命關系被發現!男性40歲后,睪酮越高,死亡風險越低

藥師說健康
2025-12-05 09:47:10
17中13轟43分!歷史首人!6換2大交易撿到寶了

17中13轟43分!歷史首人!6換2大交易撿到寶了

世界體育圈
2026-04-26 12:44:24
王思雨頒獎笑成花兒!獲金球獎勵成關鍵之王 大方展示金牌超颯

王思雨頒獎笑成花兒!獲金球獎勵成關鍵之王 大方展示金牌超颯

顏小白的籃球夢
2026-04-26 07:31:42
畸形母愛毀星二代:母乳12年同床15年荒唐事

畸形母愛毀星二代:母乳12年同床15年荒唐事

看盡落塵花q
2026-04-25 14:10:18
悲喜兩重天!蓉城4-0沖冠,津門虎4-2破咒,中超一夜改寫歷史

悲喜兩重天!蓉城4-0沖冠,津門虎4-2破咒,中超一夜改寫歷史

寶哥精彩賽事
2026-04-26 13:32:38
沒有不透風的墻!沈騰和林允的瓜未必是假的、站姐關站跑路

沒有不透風的墻!沈騰和林允的瓜未必是假的、站姐關站跑路

琴聲飛揚
2026-01-20 14:25:10
馬寧搶鏡亞冠決賽!指示主裁罰下沙特球員 霸氣伸指+喝退對方質疑

馬寧搶鏡亞冠決賽!指示主裁罰下沙特球員 霸氣伸指+喝退對方質疑

我愛英超
2026-04-26 06:11:19
外國人擠爆北京車展,全球汽車進入中國時間

外國人擠爆北京車展,全球汽車進入中國時間

汽車公社
2026-04-26 08:35:08
伊朗副議長:穆杰塔巴下令霍爾木茲海峽不得恢復戰前狀態

伊朗副議長:穆杰塔巴下令霍爾木茲海峽不得恢復戰前狀態

財聯社
2026-04-26 07:40:26
往事悠悠:七十年代隨父母下放到農村,那段經歷我記憶深刻

往事悠悠:七十年代隨父母下放到農村,那段經歷我記憶深刻

草根情感故事茶社
2026-04-25 13:22:28
穆杰塔巴敦促“伊朗南邊鄰國”認清形勢

穆杰塔巴敦促“伊朗南邊鄰國”認清形勢

環球網資訊
2026-04-26 06:43:08
胡金秋:我想在CBA賽場打到父子同臺

胡金秋:我想在CBA賽場打到父子同臺

新浪財經
2026-04-26 13:49:37
這就是赤裸裸的現實!公交集團的退休工資,估計是普通人天花板了

這就是赤裸裸的現實!公交集團的退休工資,估計是普通人天花板了

朗威談星座
2026-04-26 09:49:40
最新:烏克蘭收復扎波羅熱要塞并構建立足點!再推進15公里

最新:烏克蘭收復扎波羅熱要塞并構建立足點!再推進15公里

項鵬飛
2026-04-25 22:56:08
醪糟再次被關注!醫生發現:高血脂患者喝醪糟,不用多久4大變化

醪糟再次被關注!醫生發現:高血脂患者喝醪糟,不用多久4大變化

芹姐說生活
2026-04-19 15:52:53
得寸進尺?切爾西允許埃斯特旺不做手術 后者堅持回巴西做康復

得寸進尺?切爾西允許埃斯特旺不做手術 后者堅持回巴西做康復

雪狼侃體育
2026-04-26 14:01:25
一天4大瓜炸穿內娛!陳曉狠撕陳妍希,出軌插足塌房全齊活

一天4大瓜炸穿內娛!陳曉狠撕陳妍希,出軌插足塌房全齊活

阿廢冷眼觀察所
2026-04-26 02:39:23
41歲著名演員突然離世,拋下年僅11歲兒子,親友:生前無異樣

41歲著名演員突然離世,拋下年僅11歲兒子,親友:生前無異樣

LULU生活家
2026-04-25 14:50:49
2026-04-26 15:15:01
沃垠AI incentive-icons
沃垠AI
努力分享一些有用、有趣的AI干貨
81文章數 34關注度
往期回顧 全部

科技要聞

漲價浪潮下,DeepSeek推動AI“價格戰”

頭條要聞

特朗普2年內遭遇4次刺殺威脅 第一個任期也曾險遭襲擊

頭條要聞

特朗普2年內遭遇4次刺殺威脅 第一個任期也曾險遭襲擊

體育要聞

那一刻開始,兩支球隊的命運悄然改變了

娛樂要聞

《八千里路云和月》大結局意難平

財經要聞

DeepSeek V4背后,梁文鋒的轉身

汽車要聞

預售19.38萬元起 哈弗猛龍PLUS七座版亮相

態度原創

旅游
數碼
房產
公開課
軍事航空

旅游要聞

下一站|一天體驗越南三大特色

數碼要聞

小米截至2025年底全球授權專利超4.5萬項 智能座艙專利中國第一

房產要聞

新一輪教育大爆發來了!海口,開始瘋狂建學校!

公開課

李玫瑾:為什么性格比能力更重要?

軍事要聞

伊朗總統:不會在壓力、威脅下進行談判

無障礙瀏覽 進入關懷版