Cosmos 3、人形機(jī)器人和自動駕駛出租車工具領(lǐng)銜 NVIDIA 最新技術(shù)攻勢。

NVIDIA 發(fā)布了一系列旨在加速物理 AI 系統(tǒng)開發(fā)的廣泛技術(shù)，進(jìn)一步向人形機(jī)器人、自動駕駛汽車、半導(dǎo)體制造和工業(yè)自動化領(lǐng)域拓展。

在臺北 GTC 大會上，該公司的最新發(fā)布包括：面向物理 AI 的開放基礎(chǔ)模型 Cosmos 3、基于其 Isaac GR00T 平臺打造的新型參考人形機(jī)器人、用于機(jī)器人和工業(yè) AI 的開源智能體工具，以及與臺積電合作的全新 AI 賦能半導(dǎo)體制造計劃。

這些發(fā)布共同凸顯了 NVIDIA 為物理 AI 構(gòu)建全棧生態(tài)系統(tǒng)的戰(zhàn)略，覆蓋從合成數(shù)據(jù)生成、仿真模擬到真實世界部署的各個環(huán)節(jié)。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“得益于多模態(tài)推理語言、視覺和世界模型的突破，物理 AI 的大爆發(fā)近在眼前。”

他補(bǔ)充道：“Cosmos 3 系列開放的前沿全模態(tài)模型，讓開發(fā)者在構(gòu)建能夠感知、推理、規(guī)劃并在物理世界中行動的機(jī)器人、自動駕駛汽車和視覺 AI 方面，實現(xiàn)了代際飛躍。”

構(gòu)建物理智能

此次發(fā)布的核心是 Cosmos 3，NVIDIA 將其描述為全球首個完全開放的全模態(tài)模型，能夠在單一系統(tǒng)中理解并生成文本、圖像、視頻、環(huán)境聲音和動作。

該模型基于混合 Transformer 架構(gòu)，融合了推理與內(nèi)容生成能力。NVIDIA 稱，Cosmos 3 可作為視覺語言模型、用于模擬物理環(huán)境的世界模型，或充當(dāng)機(jī)器人動作模型的基礎(chǔ)。

公司表示，該模型在世界生成、機(jī)器人動作策略和視覺理解等多個開放模型基準(zhǔn)測試中名列前茅。Cosmos 3 提供多個版本，包括用于高精度機(jī)器人和自動駕駛汽車應(yīng)用的 Cosmos 3 Super，以及用于更快推理的 Cosmos 3 Nano。

NVIDIA 還發(fā)布了一系列開源的物理 AI 技能與工具，允許 AI 智能體跨機(jī)器人、視覺 AI、自動駕駛、醫(yī)療健康和工業(yè)數(shù)字孿生等場景執(zhí)行任務(wù)。這些工具將復(fù)雜的開發(fā)工作流轉(zhuǎn)化為可重復(fù)、可由智能體執(zhí)行的過程，能夠自動化數(shù)據(jù)生成、仿真模擬、訓(xùn)練和部署。

從實驗室到工廠

針對機(jī)器人研究人員，NVIDIA 推出了 Isaac GR00T 參考人形機(jī)器人，這是一個開放的參考設(shè)計，集成了宇樹 H2 Plus 人形機(jī)器人、Sharpa 靈巧手、Jetson Thor 板載計算平臺以及 Isaac GR00T 軟件棧。

該平臺旨在通過將硬件、仿真模擬、訓(xùn)練和部署整合到單一系統(tǒng)中，簡化人形機(jī)器人的開發(fā)。包括艾倫人工智能研究所（Ai2）、蘇黎世聯(lián)邦理工學(xué)院、斯坦福機(jī)器人中心和加州大學(xué)圣迭戈分校在內(nèi)的研究機(jī)構(gòu)計劃使用該平臺。

NVIDIA 還通過與臺積電的合作，將 AI 更深入地引入半導(dǎo)體制造領(lǐng)域。

這家芯片制造商正使用 NVIDIA CUDA-X 庫和 AI 模型進(jìn)行計算光刻、晶體管仿真、工藝控制、晶圓檢測和晶圓廠調(diào)度。據(jù) NVIDIA 稱，臺積電在提升計算效率的同時，還利用 NVIDIA Metropolis 和 TAO 工具套件提升了對納米級缺陷的檢測能力。

黃仁勛說：“NVIDIA 與臺積電合作近三十年，不斷突破計算極限。臺積電正將 NVIDIA AI 和加速計算帶入晶圓廠內(nèi)部，利用仿真模擬、優(yōu)化和 AI 解決一些全球最復(fù)雜的設(shè)計與制造難題。”

NVIDIA 還通過 Alpamayo 2 Super 探索面向自動駕駛汽車的物理 AI。這是一個擁有 320 億參數(shù)的推理模型，旨在幫助自動駕駛出租車?yán)斫狻⒁?guī)劃并應(yīng)對復(fù)雜的道路狀況。

如果朋友們喜歡，敬請關(guān)注“知新了了”！