就在剛剛，老黃深夜炸場(chǎng)了！

4月29日消息，英偉達(dá)今晨重磅推出Nemotron 3 Nano Omni開源全能多模態(tài)大模型。

該頂尖AI多模態(tài)模型，采用30B-A3B MoE混合專家架構(gòu)，整合視覺、語(yǔ)音、文本多維能力于一體。

幫助AI智能體依托視頻、音頻、圖像、文本全維度信息開展深度推理，輸出更快、更智能的交互應(yīng)答，為企業(yè)與開發(fā)者提供可落地的工程化方案。

同時(shí)，該模型顯著提升了大規(guī)模推理效率。它不僅效率高，而且擁有強(qiáng)大的多模態(tài)感知精度，使AI系統(tǒng)的吞吐量比其他具有相同交互性的開放式全向模型高出9倍（900%）。

最終實(shí)現(xiàn)了更低的成本和更好的可擴(kuò)展性，同時(shí)又不犧牲響應(yīng)速度或質(zhì)量。

英偉達(dá)表示，新模型在MMlongbench-Doc和OCRBenchV2等文檔智能排行榜上提供了一流的準(zhǔn)確性，同時(shí)在視頻和音頻理解方面也處于領(lǐng)先地位，在WorldSense、DailyOmni和VoiceBench等排行榜上名列前茅。

除了準(zhǔn)確率之外，MediaPerf（一個(gè)開放的行業(yè)基準(zhǔn)測(cè)試，它使用真實(shí)媒體數(shù)據(jù)和制作任務(wù)，從質(zhì)量、成本和吞吐量等方面評(píng)估視頻理解模型）顯示，Nemotron 3 Nano Omni 在所有任務(wù)中都實(shí)現(xiàn)了最高的吞吐量，并且在視頻級(jí)標(biāo)注方面推理成本最低。

值得一提的是，另一家硅谷AI巨頭依然發(fā)布重要消息。

針對(duì)市場(chǎng)有關(guān)銷售增長(zhǎng)放緩及未達(dá)內(nèi)部目標(biāo)的擔(dān)憂，OpenAI周二公開回應(yīng)稱，公司消費(fèi)端與企業(yè)業(yè)務(wù)正“全速運(yùn)轉(zhuǎn)”，需求持續(xù)增長(zhǎng)，并淡化相關(guān)負(fù)面報(bào)道影響。

OpenAI在聲明中表示，來(lái)自企業(yè)客戶的需求及其尚處于起步階段的廣告業(yè)務(wù)仍在持續(xù)增長(zhǎng)。“公司內(nèi)部氛圍非常積極，”該公司在一份聲明中稱。

《華爾街日?qǐng)?bào)》周一晚間報(bào)道，隨著競(jìng)爭(zhēng)對(duì)手不斷取得進(jìn)展，OpenAI已未能實(shí)現(xiàn)多個(gè)內(nèi)部目標(biāo)。OpenAI將該報(bào)道形容為“典型的標(biāo)題黨”。

英偉達(dá)最強(qiáng)模型設(shè)計(jì)與跨模態(tài)數(shù)據(jù)和訓(xùn)練

Nemotron 3 Nano Omni 架構(gòu)將多模態(tài)感知和推理集成到一個(gè) 30B 混合 MoE 模型中，原生支持文本、圖像、視頻和音頻輸入，同時(shí)在代理循環(huán)中保持統(tǒng)一的多模態(tài)上下文，無(wú)需單獨(dú)的視覺、語(yǔ)音和語(yǔ)言模型。

該產(chǎn)品采用融合Mamba層與Transformer層結(jié)構(gòu)，分別強(qiáng)化序列內(nèi)存效率與推理精準(zhǔn)度，大幅提升模型吞吐量，內(nèi)存與計(jì)算效率最高可提升4倍，適配各類子智能體應(yīng)用場(chǎng)景。

在視頻處理層面，Nemotron 3 Nano Omni依靠3D卷積捕捉畫面幀間運(yùn)動(dòng)特征，并通過(guò)高效視頻采樣層壓縮多幀高密度視覺標(biāo)識(shí)，保障大模型在上下文限制內(nèi)順暢完成視頻內(nèi)容解析。

多模態(tài)體系以成熟文本模型作為核心解碼器，保留原生語(yǔ)言能力的同時(shí)搭建跨模態(tài)適配橋梁，有效降低多模態(tài)訓(xùn)練的難度、成本與不穩(wěn)定性，強(qiáng)化連續(xù)感知任務(wù)的綜合表現(xiàn)。

音頻能力依托NVIDIA Parakeet編碼器及定制化專業(yè)數(shù)據(jù)集搭建，結(jié)合Granary、Music Flamingo等技術(shù)實(shí)現(xiàn)超越基礎(chǔ)語(yǔ)音轉(zhuǎn)錄的多元化音頻理解能力。

視覺模塊搭載C-RADIOv4-H編碼器與視頻摘要技術(shù)，通過(guò)分層壓縮策略應(yīng)對(duì)高清圖像與動(dòng)態(tài)視頻處理需求，精準(zhǔn)保留畫面細(xì)節(jié)并保障OCR識(shí)別精度。

該模型基于海量跨模態(tài)數(shù)據(jù)與指令調(diào)優(yōu)完成訓(xùn)練，面向真實(shí)智能體場(chǎng)景打造，可獨(dú)立處理圖文音視頻多類型指令，充當(dāng)大型智能體系統(tǒng)的多模態(tài)感知子模塊，全流程由NVIDIA NeMo Evaluator庫(kù)完成性能評(píng)測(cè)。

依托文檔、截圖、音視頻等多元大規(guī)模數(shù)據(jù)開展適配器與編碼器訓(xùn)練，讓模型在復(fù)雜企業(yè)級(jí)感知任務(wù)中具備出色泛化能力。

NVIDIA 通過(guò) Nemotron 3 Nano 和 Nemotron 3 Super 發(fā)布了業(yè)界最全面的基于文本的智能 AI 開放數(shù)據(jù)集，其中包括：10T+ 預(yù)訓(xùn)練標(biāo)記、4000+ 訓(xùn)練后樣本、20 多個(gè) RL 環(huán)境配置和完整的訓(xùn)練方案，所有這些都是公開可用的。

借助NVIDIA Megatron-LM落地多階段監(jiān)督微調(diào)流水線，循序漸進(jìn)拓展模態(tài)適配范圍，逐步將上下文長(zhǎng)度從16K提升至262K，筑牢跨模態(tài)指令跟隨基礎(chǔ)。

模型層面約 1270 億個(gè)標(biāo)記，涵蓋文本+圖像、文本+視頻、文本+音頻和文本+視頻+音頻等混合模態(tài)——反映了真實(shí)世界的上下文交互，而非單一模態(tài)數(shù)據(jù)。

針對(duì)真實(shí)世界任務(wù)的訓(xùn)練后訓(xùn)練：約 1.24 億個(gè)精心挑選的多模態(tài)組合示例（文本+音頻、文本+圖像、文本+視頻和文本+視頻+音頻），旨在支持文檔推理、計(jì)算機(jī)使用和長(zhǎng)期工作流程。

模型在監(jiān)督微調(diào)后開展多環(huán)境強(qiáng)化學(xué)習(xí)，覆蓋25種環(huán)境配置，依托NVIDIA NeMo系列工具完成超230萬(wàn)次環(huán)境部署，持續(xù)增強(qiáng)多模態(tài)任務(wù)與智能體工作流的運(yùn)行穩(wěn)定性。

英偉達(dá)還提供了使用 NVIDIA NeMo Data Designer構(gòu)建的合成數(shù)據(jù)生成 (SDG)流水線，用于對(duì) Nemotron 3 Nano Omni 進(jìn)行后訓(xùn)練，以使其能夠勝任復(fù)雜的長(zhǎng)文檔理解任務(wù)。

通過(guò)迭代的流水線開發(fā)、訓(xùn)練和故障分析，我們最終將一系列生成約 1140 萬(wàn)個(gè)合成視覺問(wèn)答對(duì)（約 450 億個(gè)tokens）的流水線整合到 Nemotron 3 Nano Omni 的最終訓(xùn)練數(shù)據(jù)集中。

圖像訓(xùn)練數(shù)據(jù)已公開。

借助底層圖像數(shù)據(jù)和模型，開發(fā)人員可以檢查、調(diào)整和擴(kuò)展多模態(tài)訓(xùn)練流程。

對(duì)于以往維護(hù)各自獨(dú)立的視覺、語(yǔ)音和文檔數(shù)據(jù)棧的企業(yè)而言，Omni 將這些數(shù)據(jù)棧整合到一個(gè)單一的、可用于生產(chǎn)環(huán)境的基礎(chǔ)架構(gòu)中，從而降低了跨模態(tài)部署智能體的門檻。

已經(jīng)采用 Nemotron 3 Nano Omni 的人工智能和軟件公司包括Aible、Applied Scientific Intelligence (ASI)、Eka Care、富士康、H Company、Palantir 和Pyler，而戴爾科技、DocuSign、Infosys、K-Dense、Lila、Oracle和Zefr正在評(píng)估該模型。

H Company首席執(zhí)行官Gautier Cloix表示，“要構(gòu)建實(shí)用的智能體，不能讓模型花費(fèi)數(shù)秒時(shí)間來(lái)解讀屏幕?；贜emotron 3 Nano Omni，我們的智能體可以快速解讀全高清屏幕錄像——這在以前是無(wú)法實(shí)現(xiàn)的。這不僅僅是速度的提升，更是智能體實(shí)時(shí)感知和與數(shù)字環(huán)境交互方式的根本性轉(zhuǎn)變。”

OpenAI回應(yīng)：商業(yè)化沒放緩

此前，《華爾街日?qǐng)?bào)》報(bào)道稱，隨著競(jìng)爭(zhēng)對(duì)手搶占市場(chǎng)，OpenAI未能達(dá)成若干內(nèi)部增長(zhǎng)目標(biāo)。

報(bào)道還稱，OpenAI首席財(cái)務(wù)官Sarah Friar擔(dān)憂，若銷售增長(zhǎng)不足，公司未來(lái)可能無(wú)力承擔(dān)不斷攀升的算力需求。

如果收入增長(zhǎng)速度不能進(jìn)一步加快，OpenAI 未來(lái)能否支撐龐大的數(shù)據(jù)中心和算力合同成本？

該消息出現(xiàn)在 OpenAI 沖刺潛在 IPO 的關(guān)鍵階段，也讓市場(chǎng)重新審視 AI 基礎(chǔ)設(shè)施投資的回報(bào)周期。

受此影響，OpenAI 相關(guān)概念股出現(xiàn)明顯下跌。

其中，甲骨文跌超4%，CoreWeave跌超5.7%。

股價(jià)的波動(dòng)凸顯了OpenAI在涉及頂尖云計(jì)算供應(yīng)商和芯片制造商的復(fù)雜投資與交易網(wǎng)絡(luò)中所扮演的核心角色。投資者本就對(duì)AI基礎(chǔ)設(shè)施泡沫日益擔(dān)憂，紛紛質(zhì)疑OpenAI及其他科技公司未來(lái)數(shù)年投入數(shù)千億美元建設(shè)數(shù)據(jù)中心和采購(gòu)芯片的計(jì)劃。

與此同時(shí)，投資者對(duì)AI基礎(chǔ)設(shè)施泡沫擔(dān)憂也持續(xù)升溫。市場(chǎng)開始質(zhì)疑OpenAI及其他科技公司未來(lái)數(shù)年投入數(shù)千億美元建設(shè)數(shù)據(jù)中心與采購(gòu)芯片的計(jì)劃能否帶來(lái)合理回報(bào)。

對(duì)此，OpenAI表示，公司仍將擴(kuò)大算力資源視作“關(guān)鍵推動(dòng)因素”，認(rèn)為更多計(jì)算能力將幫助其持續(xù)改善客戶產(chǎn)品體驗(yàn)。公司稱，推動(dòng)更多算力部署不僅是成本投入，更是支撐長(zhǎng)期競(jìng)爭(zhēng)優(yōu)勢(shì)的重要基礎(chǔ)。

OpenAI本月稍早曾向投資者表示，早期大幅擴(kuò)充計(jì)算資源，使公司在與長(zhǎng)期競(jìng)爭(zhēng)對(duì)手Anthropic競(jìng)爭(zhēng)中具備關(guān)鍵優(yōu)勢(shì)，盡管后者近期正快速追趕。

不過(guò)，值得注意的是，即便在《華爾街日?qǐng)?bào)》報(bào)道發(fā)布前，OpenAI實(shí)際上已開始對(duì)基礎(chǔ)設(shè)施投資采取更審慎態(tài)度。

公司近期表示計(jì)劃暫停英國(guó)一個(gè)項(xiàng)目，同時(shí)，微軟同意租賃原本擬供OpenAI使用的挪威數(shù)據(jù)中心容量。另?yè)?jù)3月報(bào)道，由于融資談判拖延，甲骨文與OpenAI已放棄擴(kuò)建得州旗艦AI數(shù)據(jù)中心計(jì)劃。

市場(chǎng)人士認(rèn)為，這些調(diào)整顯示OpenAI并未無(wú)節(jié)制擴(kuò)張，而是在高投入戰(zhàn)略與資本約束之間尋求平衡。

Wedbush 分析師DivesTech認(rèn)為，《華爾街日?qǐng)?bào)》報(bào)道 OpenAI 最近未能實(shí)現(xiàn)其新用戶和收入目標(biāo)后，甲骨文遭到拋售，這是一種“過(guò)度反應(yīng)”。

Wedbush 認(rèn)為 OpenAI 在消費(fèi)者和企業(yè)市場(chǎng)都獲得了“非常高的需求”。該公司“強(qiáng)烈”不同意其增長(zhǎng)放緩的說(shuō)法。

分析師在一份研究報(bào)告中告訴投資者，甲骨文5530 億美元的積壓訂單主要來(lái)自未來(lái)五年與 OpenAI 簽訂的價(jià)值 3000 億美元的云合同，該項(xiàng)目預(yù)計(jì)將為公司貢獻(xiàn) 300 億美元的收入。

該行對(duì)甲骨文完成 5000 萬(wàn)美元融資的能力充滿信心。該行認(rèn)為近期圍繞 OpenAI 的擔(dān)憂被夸大了，并表示該公司擁有足夠的資金來(lái)滿足其至少未來(lái)三年的計(jì)算能力需求。

此外，一直以來(lái)，微軟與OpenAI的合作被視為科技屆最成功的“聯(lián)姻”。微軟向OpenAI累計(jì)投資130億美元，一步步助推后者成為世界級(jí)AI巨頭。而微軟也依靠OpenAI拿到了AI時(shí)代的核心入場(chǎng)券。

然而在今年4月27日，微軟與OpenAI雙雙在官網(wǎng)發(fā)布了一份公告“修訂后的協(xié)議，厘清長(zhǎng)期合作細(xì)則（Amended Agreement Provides Long-Term Clarity）”，對(duì)兩家公司延續(xù)七年的合作框架作出重大調(diào)整。

兩家公司在收入分配上也做出了重新調(diào)整。

微軟將不再向OpenAI支付收入分成，OpenAI對(duì)微軟的收入分成持續(xù)到2030年，并設(shè)總額上限。

此外，微軟將繼續(xù)“以核心股東身份深度參與OpenAI的長(zhǎng)期發(fā)展。也就是說(shuō)微軟作為持股27%的OpenAI最大股東仍然可以享受OpenAI的增長(zhǎng)紅利。

而且，此前的協(xié)議規(guī)定一旦OpenAI被認(rèn)定實(shí)現(xiàn)AGI，收入分成即停止。修訂后的協(xié)議則取消了這一觸發(fā)條款，也就是無(wú)論OpenAI是否達(dá)成AGI，微軟都能穩(wěn)定收到至2030年的分成。

在這份聲明的最后，兩家公司強(qiáng)調(diào)，雖然本次修訂簡(jiǎn)化了合作關(guān)系，但兩家公司共同推進(jìn)事業(yè)的野心不變。聲明還提到了兩者其他的一些意向合作領(lǐng)域，包括“新建千兆級(jí)算力數(shù)據(jù)中心、聯(lián)合研發(fā)新一代芯片、AI技術(shù)在網(wǎng)絡(luò)安全領(lǐng)域的落地”等。雙方將繼續(xù)攜手合作，為全球的個(gè)人與組織推進(jìn)并擴(kuò)展AI的發(fā)展。