Android Studio里跑大模型，Google畫(huà)餅畫(huà)了兩年，這次終于能落地了。但實(shí)測(cè)一圈下來(lái)，能順利用上的開(kāi)發(fā)者不到三成——問(wèn)題不在模型本身，而在Google沒(méi)說(shuō)的那幾步。

這篇來(lái)自Gauresh Kambli的實(shí)戰(zhàn)記錄，把Gemma在Android生態(tài)里的真實(shí)處境扒了個(gè)干凈。如果你是做端側(cè)AI的產(chǎn)品經(jīng)理或開(kāi)發(fā)，建議看完再?zèng)Q定要不要跟進(jìn)。

「輕量」是賣點(diǎn)，也是第一道門檻

Gemma的定位很清晰：從云端撤退，鉆進(jìn)你的手機(jī)。Google給它定的標(biāo)簽是「輕量、開(kāi)源、消費(fèi)級(jí)硬件可跑」，聽(tīng)起來(lái)像是給移動(dòng)端量身定制的解藥。

但「輕量」是有代價(jià)的。 Gemma 2B版本能在中端機(jī)上流暢推理，7B版本就開(kāi)始挑芯片了。Kambli在測(cè)試中發(fā)現(xiàn)，同樣是文本生成任務(wù)，2B的響應(yīng)延遲在200-500毫秒，7B直接跳到1-3秒——這還沒(méi)算模型加載時(shí)的冷啟動(dòng)時(shí)間。

更麻煩的是內(nèi)存。一個(gè)7B模型吃掉4-6GB RAM，對(duì)12GB內(nèi)存的手機(jī)來(lái)說(shuō)，后臺(tái)殺進(jìn)程是常態(tài)。Kambli的原話是：「用戶不會(huì)為了你的AI功能關(guān)掉微信。」

所以Google文檔里寫(xiě)的「高效」，指的是推理效率，不是資源占用效率。這兩個(gè)指標(biāo)，產(chǎn)品經(jīng)理做決策時(shí)得分開(kāi)看。

Android Studio里跑Gemma，兩條路都不完美

目前集成Gemma進(jìn)Android應(yīng)用，主流方案有兩個(gè)：MediaPipe任務(wù)API，或者直接用TensorFlow Lite（TF Lite）手寫(xiě)推理管線。

MediaPipe是Google主推的「低代碼」路線。封裝好的API確實(shí)省事兒，幾行代碼就能調(diào)起文本生成。Kambli實(shí)測(cè)下來(lái)，從接入到出Demo只用了半天——但定制化空間幾乎為零。你想改采樣溫度、調(diào)整token限制？文檔里寫(xiě)著「即將支持」。

TF Lite路線則相反。自由度拉滿，你可以用GPU委托加速、量化模型精度、甚至搞多模型切換。代價(jià)是開(kāi)發(fā)周期翻倍，而且Google官方的Gemma TF Lite轉(zhuǎn)換工具，截至Kambli發(fā)文時(shí)還有bug：部分量化配置會(huì)導(dǎo)致模型輸出亂碼。

兩條路中間，目前是沒(méi)有橋的。 要么接受黑盒，要么自己造輪子。這對(duì)中小團(tuán)隊(duì)來(lái)說(shuō)，選型成本比預(yù)期高得多。

「端側(cè)AI」的真正瓶頸，在分發(fā)環(huán)節(jié)

技術(shù)方案定下來(lái)，更大的坑才剛出現(xiàn)：模型怎么送到用戶手里？

Gemma 2B的權(quán)重文件約1.3GB，7B版本接近5GB。Google Play對(duì)APK+OBB的總大小限制是4GB，這意味著7B模型必須走動(dòng)態(tài)分發(fā)——用戶第一次打開(kāi)功能時(shí)，現(xiàn)場(chǎng)下載幾個(gè)G的數(shù)據(jù)。

Kambli算過(guò)一筆賬：按全球平均移動(dòng)網(wǎng)速，5GB模型下載需要15-40分鐘。期間App不能切后臺(tái)，切了就斷點(diǎn)重傳。他的測(cè)試用戶里，73%在下載進(jìn)度到30%之前放棄了。

「邊緣計(jì)算」的美好愿景，被現(xiàn)實(shí)網(wǎng)絡(luò)環(huán)境按在地上摩擦。

Google給出的官方建議是「按需下載+緩存管理」，但具體怎么做、斷點(diǎn)續(xù)傳怎么實(shí)現(xiàn)、存儲(chǔ)空間不足時(shí)怎么優(yōu)雅降級(jí)——這些代碼都得自己寫(xiě)。Kambli在文章里貼了他自己的實(shí)現(xiàn)片段，注釋寫(xiě)著：「這行if-else我調(diào)了三天?！?/p>

那什么場(chǎng)景值得現(xiàn)在上車？

看完上面的坑，你可能覺(jué)得Gemma在Android端還沒(méi)法用。但Kambli給了幾個(gè)明確的落地場(chǎng)景：

第一，離線優(yōu)先的隱私敏感功能。 比如本地文檔摘要、端側(cè)輸入法聯(lián)想。這類場(chǎng)景對(duì)延遲不敏感、對(duì)云端傳輸有顧慮，Gemma的「端側(cè)原生」是核心賣點(diǎn)。

第二，高頻低復(fù)雜度的交互。 像智能回復(fù)建議、簡(jiǎn)單的意圖識(shí)別。2B模型足夠覆蓋，且可以預(yù)加載到內(nèi)存，避開(kāi)冷啟動(dòng)問(wèn)題。

第三，作為云端模型的fallback。 網(wǎng)絡(luò)差的時(shí)候切本地模型，保證基礎(chǔ)體驗(yàn)不斷檔。這時(shí)候用戶對(duì)質(zhì)量下降有預(yù)期，心理閾值較低。

反過(guò)來(lái)，實(shí)時(shí)翻譯、長(zhǎng)文本生成、多輪復(fù)雜對(duì)話這些場(chǎng)景，Kambli的建議是「再等等」——或者干脆繼續(xù)用云端API。

一個(gè)值得注意的細(xì)節(jié)：Kambli在測(cè)試中發(fā)現(xiàn)，Gemma對(duì)中文的支持明顯弱于英文。同樣的提示詞，英文輸出連貫度評(píng)分（他自己設(shè)計(jì)的指標(biāo)，綜合流暢度和事實(shí)準(zhǔn)確性）比中文高20-30%。Google官方?jīng)]提這個(gè)，但社區(qū)issue里已經(jīng)有開(kāi)發(fā)者反饋。

所以如果你的目標(biāo)用戶主要在中文市場(chǎng)，多留兩周做本地化測(cè)試，比事后打補(bǔ)丁劃算。

Kambli在文章最后放了一句自己的判斷：「Gemma在Android Studio里的體驗(yàn)，像是Google給開(kāi)發(fā)者的一份草稿——方向?qū)α?，但鉛筆印還沒(méi)擦干凈。」

這份草稿值不值得現(xiàn)在接？你的用戶愿意為「離線可用」忍受多長(zhǎng)的加載時(shí)間？