網易首頁 > 網易號 > 正文 申請入駐

GPT-Realtime-2上線!全球AI巨頭加碼,語音一夜成了AI圈香餑餑

0
分享至

2024 年 2 月,OpenAI 發布了 Sora。這個能生成視頻的 AI 模型用極短的時間改寫了移動互聯網時代的內容創作方式,甚至連迪士尼都曾計劃為此注資十億美元,并計劃在 Sora 2 中引入自己的核心影視 IP。但就在 26 年 3 月,OpenAI 宣布關閉 Sora,相關 API 也會在 9 月停止提供。

對此,OpenAI 的解釋是「將計算資源重新分配至核心企業產品」。

那到底是怎樣的產品值得 OpenAI 不惜「壯士斷腕」呢?剛剛過去的四月里,OpenAI 先后發布了 GPT-Image 2.0、GPT-5.5 等新服務。5 月 7 日,OpenAI 也乘勝追擊,接連上線了 GPT-5.5 Instant 和今天我們要談的重點——GPT-Realtime-2 系列模型。

GPT RT2讓 AI 像真人一樣說話

簡單來說,GPT-Realtime-2(簡稱GPT RT2)是一個全面優化 AI 語音能力的模型系列,包含原版(GPT-Realtime-2)、翻譯(GPT-Realtime-Translate)和轉錄(GPT-Realtime-Whisper)三個分支。其中 GPT-Realtime-2 具備 GPT-5 級別推理能力,開發者甚至可以自定義模型的推理深度,在準確性、時效性和算力成本之間找到自己的平衡。



圖片來源:OpenAI

而這些新技術的目的有且只有一個——讓 AI 能像真人一樣說話。

我知道,其實現在不少 AI 模型在 TTS 音色上已經和真人非常接近了,大家平時接到的運營商、銀行的騷擾電話,十有八九就是 AI 打出的,在通話的「全損音質」下,想分清對方是真人還是 AI 確實有點難度。

但只要我們一張嘴,這些 AI 客服就會馬上露餡,在雷科技看來,這種 AI 語音模型和真人的能力差距,主要體現在復雜任務處理能力上。以一個經典笑話舉例:

下班路上買一個西瓜,如果看到蘋果,就買兩個。

沒有推理能力的 AI 會按照自己的想法把「就買兩個」的對象當成西瓜或蘋果;而有推理能力的 AI 會發現這是個有歧義的病句,反過來要求用戶給出更清晰的要求。再舉一個例子:你要求車機「折疊副駕駛位,打開零重力模式」時,車機是否能主動推理出你要打開零重力模式的,其實是副駕駛后排的座位呢?

而 GPT-Realtime-2 的出現,就給 AI 帶來了真正理解用戶需求的能力。

除此之外,GPT-Realtime-2 的平行工具調用(Parallel tool calls)可以一次拉起多個組件,以響應用戶的復雜語音指令;GPT-Realtime-Whisper 可以以近乎實時的速度把語音轉寫成文檔,讓「實時字幕」成為可能;GPT-Realtime-Translate 的同步翻譯功能可以在對方還在說話時直接生成語音譯文,效率堪比同聲傳譯。



圖片來源:OpenAI

毫不夸張地說,GPT-Realtime-2 的出現,很有可能會改變未來 AI 的交互方式,讓語音交互取代文字,成為未來日常 AI (非工作等生產力 AI)的主要交互模式。

「老登」習慣打字,年輕人愛動口?

但話又說回來,在語音交互賽道上發力,其實是近幾年 AI 賽道的共識了:

5 月 7 日千問 PC 端上線 AI 語音輸入,用極強語義解析能力打造了可以用于工作場景的 AI 用例,在此之前,豆包、Claude、ChatGPT、Gemini等AI均已支持桌面語音模式,允許用戶用嘴與AI交互,包括編程;4 月 27 日影石 Insta360 聯手字節跳動 AI 編程平臺 TRAE 推出了適用于 Vibe-Coding 的領夾麥克風;4 月 23 日涂鴉在全球開發者大會上發布了 PVAD 自訓練模型和 TTS增強引擎,提出了 LUI(語言交互界面,與圖形交互界面 GUI 對應)的概念。

甚至在就在今天,馬斯克也在 X 上為 xAI 的打造的Grok Voice Think Fast 1.0 語音助手宣傳造勢。



圖片來源:X

那為什么 2026 年的 AI 戰場會落在語音交互界面上呢?OpenAI CEO Sam Altman 就提到了一個觀點:

順便提一句,年輕人似乎更喜歡通過語音與 AI 互動,而老年人以及中間年齡段的人更喜歡打字。我想知道這會不會改變。

在雷科技看來,這一現象背后不僅是習慣問題,也是年輕人與中年人思維模式的差異。對于在全時在線、觸屏環境中長大的 00 后、10 后(以及誕生于語音交互時代的 20 后)來說,鍵盤帶有濃厚的「班味」,除了打游戲外幾乎不會碰。



圖片來源:X

順著這個角度想,在過去 20 年里,鍵鼠組合高效、精準的輸入方式為 PC 的生產力工具的身份打下了基礎,但也限制了我們「必須在電腦前才能工作」。而 LUI 的出現改變了這個刻板印象:起身接杯水也好、下樓透氣也好,甚至只是癱在椅子上思考時,AI 都能通過我們的「只言片語」跟上我們的思維,讓靈感隨時在線。

事實上,語音輸入「有效信息含量低」的特點,也確實只有 AI 可以解決。以千問今天上線的 PC 端上線 AI 語音輸入為例,雷科技簡單體驗了一下。除了基礎的語音輸入外,千問 PC 語音輸入還可以自動過濾掉說話過程中那些沒有意義的語氣詞、填充詞。

比如在輸入圖中這個需求時,我幾乎在每一個停頓處都加入了大量的「呃」「就是」,千問也能直接過濾掉。



圖片來源:雷科技

不可否認的是,在辦公室等公共場所使用語音輸入,多少會對其他同事產生影響。但 AI 語音能力的提升,確實讓語音輸入在工作場景也具備了「實用性」,如果你像年輕人一樣說話跳脫、思如泉涌、「腦子比嘴快」,又或者喜歡用語音輸入,那千問的語音輸入功能對你確實很有幫助。

從這個角度看,擁抱語音交互,本質上是 AI 巨頭們在搶占這些年輕用戶的市場。誰能把語音交互做穩,誰就能壟斷這些年輕人碎片化時間的「交互主權」。

其實這種迎合下一代使用習慣,超前建立用戶粘性的做法也并非新鮮事,MacBook Neo、Chromebook、iPad 等電子產品在海外燒錢發力教育市場,背后也是同樣的邏輯。

只不過在雷科技看來,除了面向下一代的超前布局外,AI 巨頭不約而同發力 LUI,背后還有別的推動力:LUI 和 AI 的的終極目標一致,都帶有「永遠待命、隨時可用」的屬性。

文字界面(TUI、命令行)也好、圖形界面(GUI)也罷,經過多年的發展,這類視覺交互能覆蓋的場景早已到頭。但在開車、鍛煉、下廚、洗澡這些「手腳被占用」的場景里,語音交互的價值仍未被完全挖掘。

以最常見的駕駛場景為例:為了填補實體按鍵缺失帶來了交互空白,國內新能源品牌早已在 LUI 語音交互界面上發力;對著車機下超長復雜指令,也成為了大家體驗智能座艙時的保留節目。

作為回應,不少車企也開始與頭部 AI 企業合作,利用外部的語音大模型完善智能座艙的體驗。比如在去年的廣州車展上,不少車企就向雷科技透露自己的車機「融入了豆包」的能力。



圖片來源:雷科技

可以說,在 AI 市場風起云涌的 2026 年,哪家 AI 企業能搶先完善 AI 語音,帶領行業從 GUI 交互走向 LUI,誰就能搶先一步吃上「新的蛋糕」。

語音成了AI硬件交互的入口

即使我們拋開 LUI 這種長遠命題不談,從用戶、智能硬件的角度來看,語音交互其實也是加速 IoT 設備轉型為 AIoT 設備的捷徑。

以往的智能硬件要變「聰明」,需要堆屏幕、堆算力芯片。而 AI 語音對設備端的硬件要求極低,一個用來收音的麥克風、一個處理音頻數據的計算模塊、一個用于跑端側模型的算力平臺(這個對部分 AI 硬件來說甚至是可選項)再加上最基本的網絡連接能力,任何一個曾經不起眼的 IoT 產品,都能搖身一變成為 AIoT 硬件。



圖片來源:雷科技

為雷科技報道海外展會和高管群訪立下汗馬功勞的釘釘 A1 錄音卡就是最好的例子。過去雷科技也試過不少智能錄音設備,甚至買過運行端側本地模型的智能錄音筆。但受模型能力限制,這類「智能錄音筆」效果通常都不盡如人意。

不過釘釘 A1 就沒有這個問題了:手機里裝著完整的大模型,能以近乎同步的速度輸出翻譯結果。而把轉寫、翻譯的任務交給手機后,A1 里的端側小模型也能將更多的資源用在語音拾取、降噪等方面,從源頭優化錄音效果。

在錄音、轉寫、翻譯這三大功能外,釘釘 A1 錄音卡也充分發揮了 AI 智能體的能力,可以將錄音內容直接轉化為符合標準格式的會議記錄、待辦事項,甚至可以在基礎上對內容進行二次深度理解。

而從產品多樣性的角度看,除了給傳統 IoT 設備「賦能」外,AI 語音交互的出現甚至催生了不少 AI 新概念產品。像科大訊飛就基于其在語音識別領域多年的技術積累,打造了包括 AI 翻譯機、AI 墨水屏辦公本、會議耳機、AI 眼鏡甚至是 AI 鍵盤、AI 鼠標等產品。

盡管產品品類繁多,但按照其對 AI 技術的應用,雷科技認為這些 AI 產品依舊有一條橫跨品類的「主線」——用語音 AI 豐富硬件的交互方式,從而優化產品的體驗。



圖片來源:訊飛

以訊飛的 AI 辦公本為例,受限于像素響應時間,電子墨水屏設備天然就不適合鍵盤輸入。用過 Kindle 的朋友應該對 Kindle 連 Wi-Fi、打密碼的流程深有體會。這種輸入手段的缺失讓電子墨水屏設備長期以來只能當作單純的「顯示設備」,不具備真正的辦公能力。

但 LUI 的出現改變了電子墨水屏「只有輸出沒有輸入」的局面:訊飛星火大模型的外語和方言識別能力,解鎖了電子墨水屏的輸入能力,讓墨水屏從「顯示器」真正升級成了「辦公本」。搭配圖片理解等多模態輸入能力,訊飛早已將電子墨水屏設備打造成了「全能辦公設備」。

可以說,無論從產品、用戶還是 AI 供應商的角度看,語音交互對 AI 的重要性都毋庸置疑。

中國AI的優勢:更會聽/說中文

另外,發力 AI 語音交互對國內 AI 巨頭來說,其實還有另一個意義——中國的 AI 公司,天生更懂中文。

按第一語言(母語)來算,中文是世界使用人數最大的語言;按照總使用人數(母語+第二語言)來計算,中文是世界使用人數第二大的語言。

可能有人認為「懂中文」只對國內用戶有意義,上升不到國際角度,但事實并非如此。雷科技前段時間去美國舊金山參加了追覓的發布會,更早之前也在巴塞羅那、柏林等非英語城市參與了海外展會的報道。

就雷科技的所見所聞而言,大量一代移民即使身處海外,也只會說中國話(主要為粵語)。很多上年紀的華人即使在溫哥華、舊金山、巴塞羅那、墨爾本等移民城市生活多年,依舊過不了最基本的入籍語言關。

很顯然,他們也有使用 AI 的需求,甚至對于不會打字的老人群體來說,語音交互是他們使用電子產品的唯一手段。但無論 Google 的 Gemini、OpenAI 的 ChatGPT 或 xAI 的 Grok,其對中文語音的支持都相當有限。以 ChatGPT 為例,過年策劃主流 AI 助手中文和方言支持時,雷科技就發現 ChatGPT 并不能穩定、持續輸出廣東話,說著說著就會自動切換回英語。

對 ChatGPT、Gemini、Grok 來說,「說中文」是個不小的挑戰;但對豆包、千問、Kimi、訊飛等國內 AI 服務來說,這恰恰是「與生俱來」的優勢。



圖片來源:豆包

相比英語,中文存在大量的倒裝、省略以及「只可意會」的潛臺詞。再加上中國龐大的方言體系,廣東話、四川話、東北話……每一個方言背后都是一套獨立的文化邏輯。海外巨頭的大模型雖然能翻譯中文,但在處理帶口音的口語、特定語境下的俚語時,往往無從下手。

而這恰恰為豆包、千問、訊飛等國內頭部品牌建立了天然的護城河。像剛剛提到的千問 PC 端語音輸入能力,甚至可以對語音素材進行規整,精準找到用戶語音中的重點,不需要用戶「意思意思」。前幾年,商湯甚至還推出了首個面向粵語用戶的 AI 服務「日日新」。

不可否認,無感 AI 交互是一切 AI 服務的終極目標。但在這種主動感知 AI 交互普及之前,語音依然是最高效、最直接的橋梁。國內 AI 行業通過死磕中文和方言,實際上也換來了「海外華人」這一被海外 AI 巨頭長期忽略的用戶群體,找到了一條躋身世界頭部品牌的快車道。

2026 年,AI 競爭邏輯已經倒轉:以前的 AI「需要人學」,現在的 AI「拼命學人」。隨著語音交互、LUI 等概念的普及,那個對著輸入框摳字的日子,真的該翻篇了。



特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
申裕斌出局滿臉沮喪!孫穎莎安慰她超暖心 韓媒:難越乒壇高墻

申裕斌出局滿臉沮喪!孫穎莎安慰她超暖心 韓媒:難越乒壇高墻

顏小白的籃球夢
2026-05-08 07:51:33
日軍老兵講述親身經歷:在南京大屠殺時,城里富太太們的悲慘遭遇

日軍老兵講述親身經歷:在南京大屠殺時,城里富太太們的悲慘遭遇

云霄紀史觀
2026-05-08 18:25:31
iOS 微信發布 8.0.73 正式版,視頻通話加入新功能

iOS 微信發布 8.0.73 正式版,視頻通話加入新功能

簡科技
2026-05-08 12:19:49
《教父》柯里昂臨終前的頓悟:男人可以囂張,可以蠻橫,可以得罪權貴,唯獨這兩類人,碰了就是給自己種下禍端

《教父》柯里昂臨終前的頓悟:男人可以囂張,可以蠻橫,可以得罪權貴,唯獨這兩類人,碰了就是給自己種下禍端

心理觀察局
2026-05-08 09:32:04
河南籍演員北京聚餐!一眼望去熟人滿滿,李亞鵬岳云鵬劉震云都在

河南籍演員北京聚餐!一眼望去熟人滿滿,李亞鵬岳云鵬劉震云都在

天天熱點見聞
2026-05-08 04:32:33
注意!中老年男性有性生活和沒性生活,差別居然這么大?

注意!中老年男性有性生活和沒性生活,差別居然這么大?

皓皓情感說
2026-04-22 08:20:32
男籃國手王俊杰自宣:從舊金山大學轉校麻省大學 終極目標沖NBA

男籃國手王俊杰自宣:從舊金山大學轉校麻省大學 終極目標沖NBA

醉臥浮生
2026-05-08 14:00:16
河南省委常委、副省長張敏已負責省政府常務工作

河南省委常委、副省長張敏已負責省政府常務工作

澎湃新聞
2026-05-08 13:10:26
比亞迪閃充76°高溫傷電池?李云飛疑似回應:歡迎去吐魯番體驗

比亞迪閃充76°高溫傷電池?李云飛疑似回應:歡迎去吐魯番體驗

汽車記錄者
2026-05-07 23:05:01
跟韓國隊這場生死戰,真不能再讓他上了!

跟韓國隊這場生死戰,真不能再讓他上了!

眼界縱橫
2026-05-08 11:00:42
5月20官宣三婚!頭發都白了,何潔現狀惹人心疼

5月20官宣三婚!頭發都白了,何潔現狀惹人心疼

老吳教育課堂
2026-05-08 20:06:05
97年我對女老師說我喜歡她,她紅著臉說:考上重點大學我就嫁給你

97年我對女老師說我喜歡她,她紅著臉說:考上重點大學我就嫁給你

千秋文化
2026-05-02 19:36:54
“近11年來最好的拜仁”,終究技不如人

“近11年來最好的拜仁”,終究技不如人

足球周刊
2026-05-08 17:10:49
印度人被西方說動,只需要100億美元,就能成為“中國的噩夢”

印度人被西方說動,只需要100億美元,就能成為“中國的噩夢”

一曲一場談
2026-05-08 21:50:30
八路軍最強的師,擁有30個師的兵力,八年抗戰下來殲滅日偽軍42萬

八路軍最強的師,擁有30個師的兵力,八年抗戰下來殲滅日偽軍42萬

凡人侃史
2026-05-07 22:41:20
6月1日起全國醫院統一新規,看病再也不用愁,誰都不能例外

6月1日起全國醫院統一新規,看病再也不用愁,誰都不能例外

老特有話說
2026-05-07 15:20:09
亞洲第3人!日本八村季后賽500分里程碑 姚明555分克拉克森558分

亞洲第3人!日本八村季后賽500分里程碑 姚明555分克拉克森558分

醉臥浮生
2026-05-08 11:06:18
第六屆“MLILY夢百合0壓床墊杯”世界圍棋公開賽國際預選首輪戰罷,中韓對戰2比3

第六屆“MLILY夢百合0壓床墊杯”世界圍棋公開賽國際預選首輪戰罷,中韓對戰2比3

野狐圍棋
2026-05-08 21:52:54
祝賀!國乒男團3比0韓國,晉級世乒賽半決賽

祝賀!國乒男團3比0韓國,晉級世乒賽半決賽

齊魯壹點
2026-05-08 21:56:10
“過氣超女”黃雅莉:沒工作沒積蓄,已生子,住5㎡三室一廳,活成了城市版李子柒

“過氣超女”黃雅莉:沒工作沒積蓄,已生子,住5㎡三室一廳,活成了城市版李子柒

可讀
2026-05-08 20:53:44
2026-05-08 23:23:00
雷科技 incentive-icons
雷科技
專注AI硬科技
36842文章數 812083關注度
往期回顧 全部

科技要聞

SK海力士平均獎金600萬 工服成相親神器

頭條要聞

"4只皮皮蝦1035元"消費者再次發聲 否認"想吃白食"

頭條要聞

"4只皮皮蝦1035元"消費者再次發聲 否認"想吃白食"

體育要聞

他把首勝讓給隊友,然后用一年時間還清賬單

娛樂要聞

古天樂被曝隱婚生子,新娘竟是她

財經要聞

估值3000億 DeepSeek尋求500億元融資

汽車要聞

MG 4X實車亮相 將于5月11日開啟盲訂

態度原創

教育
時尚
旅游
房產
親子

教育要聞

快接住今天高考的專屬好運!祝考生金榜題名

衣服其實沒有必要買很貴,準備這三件基礎款,百搭實用又不挑人

旅游要聞

我們這樣講家鄉|馬未都山東行——10天行程,億次“相遇”,一生牽掛

房產要聞

豪擲6.8億拿地!何猷君大手筆投資三亞!

親子要聞

男人帶娃,為什么如此輕松?網友: 放下你的控制欲你也能輕松

無障礙瀏覽 進入關懷版