vLLM 團隊創立 Inferact 并完成 1.5 億美元種子輪融資，真格基金首輪投資

真格基金是開源項目 vLLM 的早期捐贈人。我們見證了 vLLM 團隊對技術的前瞻判斷與極致追求，也深深被他們為開源生態作出的卓越貢獻所打動。非常激動能夠從第一天起，繼續支持由 vLLM 核心團隊創辦的 Inferact。祝賀 Simon，Woosuk，Kaichao，Roger，Ion 等創始團隊成員！期待 Inferact 在他們的帶領下，打造世界級的 AI 推理引擎，加速整個 AI 產業的進步。

真格基金管理合伙人戴雨森

1 月 22 日，由開源軟件 vLLM 核心團隊創立的 AI 初創公司 Inferact 正式宣布完成 1.5 億美元的種子輪融資，公司估值達到 8 億美元。本輪融資由 Andreessen Horowitz 與 Lightspeed 領投，真格基金與 Sequoia Capital、Altimeter Capital、Redpoint Ventures 等硅谷頂級 VC 跟投。

成立于 2025 年 11 月的 Inferact 誕生于 vLLM 社區長期實踐的基礎之上。vLLM 是當下最重要的開源推理引擎之一，也是整個開源世界中規模最大的項目之一。今天，vLLM 已支持 500 余種模型架構，運行在 200 多種加速器之上，在全球范圍內承載著真實且大規模的推理負載，累計擁有 2000 多名貢獻者。Meta、Google、Character.ai 等多家公司也已在生產環境中使用 vLLM。2024 年 7 月，真格宣布捐贈支持 vLLM，一路陪伴核心團隊從一個開源項目走到今天。

Inferact 成立后，來自 vLLM 核心團隊的 Simon Mo 將出任 Inferact CEO，Woosuk 任 CTO，Kaichao（游凱超）任首席科學家。團隊還包括 Roger Wang、伯克利大學計算機系教授 Ion Stoica 等聯合創始人和十幾位創始團隊成員。他們的使命十分明確：把 vLLM 打造成世界級的 AI 推理引擎，通過讓推理變得更便宜、更高效，來加速整個 AI 產業的進步。

Inferact 聯合創始人兼 CTO Woosuk Kwon 在 X 上宣布公司成立的推文中提到：

當前，AI 行業正經歷一輪明確的遷移：從訓練端的能力不足與不穩定性，快速轉向推理端的資源受限和執行效率問題。隨之而來的是推理需求的爆發式增長，而且很可能是超線性的。隨著 Agent 執行步數增加、單步所需 token 數上升，推理負載本身正在變得愈發復雜。

模型規模持續增長，新架構層出不窮。從 MoE、多模態到智能體化，幾乎每一次模型能力的突破，都會提出全新的基礎設施要求；硬件端也在不斷碎片化，出現了更多類型的加速器、更多編程模型以及更多需要被優化的組合。

模型能力與承載它們的系統方案之間正在形成越來越大的鴻溝。最強大的模型受限于算力瓶頸，全部潛力只能被少數擁有定制化基礎設施能力的團隊完全釋放。且這一問題仍在加劇。推理正從計算資源中的「一小部分」演變為「絕對主體」：test-time compute、RL 訓練閉環及合成數據生成，都在不斷推高對推理的需求。

惟有補上這層差距，新的可能性才會真正打開。

這一理念源自 vLLM 的起點。

2022 年，在 ChatGPT 發布之前，vLLM 團隊曾在加州大學伯克利分校內部搭建過一個大語言模型 demo。當時部署在服務器上的還是 Facebook 的 OPT-175B，目的是為了展示團隊此前一個用于自動化模型定型與推理的研究項目 alpha。但在部署過程中，團隊很快發現 demo 運行緩慢、GPU 利用率極低，這讓他們意識到：大語言模型的瓶頸并不只在模型本身，推理階段的系統層問題同樣關鍵。隨著模型規模擴大，僅靠模型層優化已經遠遠不夠。

Inferact CEO Simon Mo 曾在 2024 年做客真格播客「此話當真」時分享：「在推理過程中，單點的算子優化當然重要，但真正有效的，是跨請求、跨任務的系統級優化。當時市面上幾乎沒有任何專門針對大語言模型推理優化的開源系統，所以我們決定自己動手，從零開始做一個。」

在隨后的實踐中，團隊進一步定位到 GPU 顯存管理這一核心瓶頸。傳統的內存管理方式存在大量浪費，嚴重限制了吞吐與并發能力。經過多輪迭代，vLLM 團隊提出了新的 attention 計算方法 PagedAttention，借鑒操作系統中的 Paging 與虛擬內存機制，對 Transformer 中 attention 所使用的 KV Cache 進行管理，從而顯著降低顯存占用，并提升整體吞吐能力。這一技術突破成為 vLLM 乃至 Inferact 的重要起點。

vLLM 位于模型與硬件交匯的關鍵位置，而這個位置，是用多年時間一點點打磨出來的。

正如同樣誕生于伯克利、隨后成長為獨角獸的 Apache Spark、Ray 等項目一樣，Inferact 也是在持續運營一個被全球頂級公司真實使用的開源社區中，匯聚了大量優秀開發者的長期貢獻，同時打磨出了一支推動智能邊界、具備清晰使命感的團隊。

伯克利的開源傳統本質上是一種「碰撞機制」，讓學界最新的想法與真實的生產環境和用例相遇，也讓更具探索性的研究思維與業界務實的工程取向不斷摩擦。雙方彼此學習，最終孕育出既實用又能引領范式變化的開源項目。

這一機制也體現在 vLLM 的成長路徑中。當模型廠商推出新的架構時，會第一時間與 vLLM 協作，確保 Day-zero 支持；當硬件廠商設計新的芯片時，也會直接與 vLLM 集成；而從前沿實驗室、云廠商到服務數百萬用戶的初創公司，在規模化部署時，運行在生產環境中的仍是 vLLM。這個由 2000 多名貢獻者共同構建的生態構成了 vLLM 和 Inferact 最堅實、也最難以復制的基礎。

Inferact 表示，公司的首要任務始終是以獨立開源項目的形式持續支持 vLLM，并將所有改進回饋社區；同時，Inferact 將開發商業化產品以幫助企業在不同類型的硬件上更高效、更穩定地運行 AI 模型。

Inferact 看到的未來是：AI 的部署與服務將變得像基礎設施一樣輕松。

Woosuk Kwon 在官宣推文的最后展望：「大規模部署一個前沿模型仍需要一整支專業的基礎設施團隊。而在未來，這件事理應像啟動一個 serverless 數據庫一樣簡單。復雜性不會消失——它將被吸收進 Inferact 正在構建的基礎設施之中。」