你注意過嗎?當(dāng)你在地址欄敲下chrome://flags 時(shí),可能已經(jīng)錯(cuò)過了瀏覽器里一項(xiàng)靜默更新——一個(gè)不依賴云端、沒有API密鑰、也不按字符計(jì)費(fèi)的本地AI模型,此刻就躺在你的電腦里。它叫Gemini Nano,由Chrome從某個(gè)版本開始直接捆綁分發(fā)。我第一次打開chrome://on-device-internals 看到那個(gè)下載進(jìn)度條的時(shí)候,第一反應(yīng)不是驚喜,而是“居然沒聽見什么動(dòng)靜”。
這件事的時(shí)間線很短,但每一步都踩在了邊緣計(jì)算向?yàn)g覽器內(nèi)核滲透的脈絡(luò)上。這條線索的起點(diǎn)是Prompt API的落地。直到Chrome 138版本,這個(gè)讓開發(fā)者可以直接和瀏覽器內(nèi)置模型對(duì)話的接口才算正式可用。與此同時(shí),Gemini Nano就作為一個(gè)幾GB大小的完整模型包,通過Chrome自身的組件更新機(jī)制被拉到用戶的硬盤上,不需要單獨(dú)安裝,不需要配置Python環(huán)境,也不需要對(duì)著終端敲pip install。所有的沉重都在用戶不可見的地方完成,留給前端的只是一個(gè)能夠調(diào)用 prompt() 的JavaScript會(huì)話對(duì)象。
![]()
我在文檔上花了整天來摸索API的完整圖層面貌,隨后搭了一個(gè)單人即可打開的單頁試驗(yàn)場。你只需要從GitHub拉下那一個(gè)HTML文件,用Chrome 138或更高版本直接打開它,就能在同一個(gè)頁面里把會(huì)話管理、流式響應(yīng)、結(jié)構(gòu)化輸出、多模態(tài)輸入、響應(yīng)前綴控制這些能力全都試一遍。這就像一個(gè)無需后端、無需云函數(shù)的AI沙箱,而它的入場券只是你本已安裝的那個(gè)瀏覽器。
為什么這件事比看起來更值得你花一個(gè)下午?因?yàn)樗验L期以來“本地AI”在Web端的三個(gè)難題一次性消解了:運(yùn)行時(shí)成本、數(shù)據(jù)離境風(fēng)險(xiǎn)和網(wǎng)絡(luò)依賴。以往,如果你想在自己的網(wǎng)站里嵌入一個(gè)語言模型,要么你得承受每次調(diào)用都產(chǎn)生云服務(wù)費(fèi),要么你得讓用戶下載一個(gè)動(dòng)輒幾十GB的獨(dú)立應(yīng)用,而用戶幾乎不會(huì)為了一個(gè)輕量功能這么做。但現(xiàn)在,模型跟著瀏覽器來了,你的產(chǎn)品邏輯只需要面對(duì)一個(gè)假設(shè):用戶打開了Chrome。一旦成立,你可以直接調(diào)用LanguageModel.create(),給一個(gè)系統(tǒng)提示詞,定義一下期待輸入輸出模式,開始提問。這一切不會(huì)產(chǎn)生一條向外的網(wǎng)絡(luò)請(qǐng)求,數(shù)據(jù)始終留在設(shè)備里,而且即使在飛行模式中,只要模型已經(jīng)下載完畢,照樣能工作。
當(dāng)然,代價(jià)是能力邊界。Gemini Nano屬于那一類為具體任務(wù)優(yōu)化的小尺寸模型。把它放在長鏈條推理上,它不會(huì)替代那些動(dòng)輒萬億參數(shù)的通用大腦。但在分類、摘要、聚焦內(nèi)容的問答和結(jié)構(gòu)化信息提取這些場景里,它已經(jīng)能夠表現(xiàn)得像是你現(xiàn)有產(chǎn)品體系里多出來的一個(gè)免費(fèi)、隨時(shí)待命的智能層。你可以把它理解為一個(gè)不要錢的服務(wù)進(jìn)程,在你的用戶設(shè)備上安靜運(yùn)行,用來處理那些不上傳也有價(jià)值的輕量AI任務(wù)——比如對(duì)用戶正在瀏覽的文本給一個(gè)關(guān)鍵詞標(biāo)簽,為離線文檔生成摘要行,或者對(duì)表單輸入做一次預(yù)判性的校驗(yàn)提示。這些需求過去受限于成本很難在純Web端落地,現(xiàn)在模型下沉到了瀏覽器內(nèi)核,開發(fā)者的算力緊張感就突然松了一截。
把這條路走通,需要先打開兩個(gè)標(biāo)志。在地址欄進(jìn)入chrome://flags/#optimization-guide-on-device-model,把它設(shè)為 Enabled BypassPerfRequirement。這一步實(shí)際上是跳過了Chrome原本按硬件性能分級(jí)開放的門檻,告訴瀏覽器“別再檢查我的設(shè)備性能了,直接開啟模型能力”。接著進(jìn)入chrome://flags/#prompt-api-for-gemini-nano,把基礎(chǔ)API和多模態(tài)選項(xiàng)都啟用。重啟之后,再訪問chrome://on-device-internals 就能看到Gemini Nano的下載狀態(tài)。第一次成功調(diào)用會(huì)觸發(fā)一個(gè)幾GB的模型下載,過程靜默,但一旦完成,后續(xù)所有使用就沒有任何網(wǎng)絡(luò)等待了。這個(gè)過程給人的感覺很像當(dāng)年瀏覽器悄悄加入WebGL,等你反應(yīng)過來的時(shí)候,本地渲染三維圖形的能力已經(jīng)成了基礎(chǔ)設(shè)施。
在這個(gè)發(fā)布過程中,我特意把整個(gè)API能力抽象成一個(gè)單文件HTML工作臺(tái),克隆下來之后沒有編譯步驟,也不需要起本地服務(wù)器,直接雙擊打開就能跑。它的用意就是把所有分散的接口聚合到一個(gè)玻璃房子里,讓你看到會(huì)話是怎樣創(chuàng)建的、流式輸出的buffer是如何逐字抵達(dá)的、多模態(tài)輸入如何把圖片和文本拼成一個(gè)prompt塞給模型、響應(yīng)前綴限制又怎么把輸出引導(dǎo)到你想要的格式里。你不需要猜測哪個(gè)特性在Chrome下是否兼容,因?yàn)樗行r?yàn)都提前用LanguageModel.availability() 通了一遍,它會(huì)告訴你當(dāng)前設(shè)備到底支持哪些模態(tài)、模型是否已經(jīng)可用,還是仍需下載。這一步其實(shí)是非常關(guān)鍵的,因?yàn)椴煌布脚_(tái)對(duì)模型的支持度并不完全一致,有些設(shè)備可能跑不通多模態(tài)通道,有些則會(huì)缺失部分語言的輸出。在調(diào)用create之前務(wù)必先availability,這個(gè)習(xí)慣會(huì)幫你避開大部分詭異的中斷。
把這件事放回時(shí)間線里看,它像一個(gè)轉(zhuǎn)折點(diǎn):Web開發(fā)者第一次在瀏覽器中擁有了一個(gè)免費(fèi)的、帶接口的、不強(qiáng)迫用戶離開頁面的AI運(yùn)行時(shí)。以往我們談?wù)揂I民主化,通常說的是云API降價(jià)或者開源模型權(quán)重。但這兩條路仍然要求使用者具備一定的技術(shù)棧和管理能力。而Chrome內(nèi)置模型的方式,把心理門檻壓到了“會(huì)寫JavaScript就能調(diào)用”的程度,物理門檻壓到了“有瀏覽器就有模型”。我很難低估這種分發(fā)方式對(duì)淺層AI功能滲透率的影響。過去一個(gè)想法如果依賴服務(wù)端推理,產(chǎn)品經(jīng)理得先算成本;依賴用戶自己部署模型,轉(zhuǎn)化率就直接降到零。現(xiàn)在不一樣了,你只需要判斷用戶是不是在用Chrome,然后寫一句availability檢查,剩下的都交給瀏覽器已經(jīng)下載好的模型來處理。
這也重新定義了私密性。因?yàn)槟P鸵坏┫螺d,推理全在本地完成,沒有任何數(shù)據(jù)被送出設(shè)備。在醫(yī)療咨詢頁面、法律文本初篩、個(gè)人日記摘要這些場景里,隱私不只是產(chǎn)品附加項(xiàng),而是用戶能不能放心用起來的前提。以前你要用AI處理這些敏感內(nèi)容,要么接受數(shù)據(jù)上云帶來的合規(guī)風(fēng)險(xiǎn),要么干脆不做。而Chrome提供的這個(gè)路徑,等于在用戶設(shè)備和你的頁面之間搭建了一個(gè)封閉的推理管道,它從設(shè)計(jì)上就沒有給數(shù)據(jù)外流留接口。這不僅僅是技術(shù)架構(gòu)的選擇,它直接改變了哪些應(yīng)用場景可以開始在瀏覽器里被合理構(gòu)思。
同樣值得留意的還有延時(shí)。少了數(shù)據(jù)中心的往返,一個(gè)prompt從發(fā)出到第一個(gè)token出現(xiàn)的間隔被壓縮得很短。對(duì)于需要即時(shí)反饋的交互——比如實(shí)時(shí)文本補(bǔ)全、動(dòng)態(tài)分類標(biāo)注、對(duì)話式搜索中的引導(dǎo)提示——這種低延時(shí)會(huì)直接影響用戶是否愿意把AI當(dāng)作頁面的一部分來依賴,而不是一個(gè)需要額外等待的外部服務(wù)。而且,因?yàn)闆]有并發(fā)上的云成本,開發(fā)者不需要用量化費(fèi)、并發(fā)上限、Token消盡這些概念來規(guī)訓(xùn)自己的功能設(shè)計(jì)。一個(gè)頁面可以有幾十個(gè)獨(dú)立會(huì)話同時(shí)運(yùn)行,全部由用戶本地的硬件消化,這種架構(gòu)上的松綁會(huì)催生一些之前因?yàn)槌杀径豢车舻膭?chuàng)意。
當(dāng)然,所有的優(yōu)勢(shì)都建立在一個(gè)前提上:用戶愿意升級(jí)瀏覽器并開啟標(biāo)志。目前這還不是默認(rèn)全量開放的狀態(tài),但技術(shù)踩點(diǎn)已經(jīng)完成,接口已經(jīng)穩(wěn)定在Chrome 138里可調(diào),這就意味著對(duì)于愿意嘗鮮的開發(fā)者和早期用戶,整個(gè)鏈條已經(jīng)可以跑通。我把這個(gè)過程拆開看,它很像是Chrome當(dāng)年引入Service Worker的節(jié)奏——最初也需要在flags里打開,但一旦標(biāo)準(zhǔn)穩(wěn)固,很快就被推成全量,然后悄然改變了Web應(yīng)用的能力邊界。所以現(xiàn)在手上這版實(shí)驗(yàn)性的Prompt API,完全有可能是下一代輕量級(jí)客戶端AI標(biāo)準(zhǔn)的前身。
當(dāng)你透過一個(gè)下午的實(shí)驗(yàn)把整個(gè)API面全部摸一遍之后,會(huì)自然產(chǎn)生一個(gè)念頭:在瀏覽器自己變成了AI容器之后,過去很多被云服務(wù)商握在手里的能力,開始慢慢向邊緣回流。一個(gè)完全運(yùn)行在用戶本地、不消耗服務(wù)器資源、也不觸碰用戶數(shù)據(jù)的智能層,已經(jīng)不再只是概念。它就靜靜躺在chrome://on-device-internals 那個(gè)下載狀態(tài)提示的后面,等著你寫下一個(gè)會(huì)話。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.