北京
周三下午，一個常年在終端里折騰的工程師打開了llama.cpp的倉庫。他想把Google剛放出的Gemma 4模型搬到蘋果筆記本上，本地跑一跑——不靠云端、不花API費用，就用自己的GPU。過程比預想的要順滑。
準備工作不復雜：有個Hugging Face賬號，裝好llama.cpp和Python環境。他先克隆llama.cpp的主分支，用CMake編譯時開啟了Metal加速，關掉cURL依賴，讓推理全部落在本地。Python側則新建了一個uv項目，把PyTorch、Transformers、SentencePiece、Protobuf和GGUF庫一口氣拉齊。這樣一來，模型下載和格式轉換都有了基礎。
模型文件從Hugging Face直接拖到本地，選的是Gemma 4的E4B-it指令版本。下載完放在models目錄下，緊挨著準備存放量化后文件的gguf文件夾。然后他跑了一行腳本，把原始的.safetensors權重大包轉成llama.cpp通用的GGUF格式，輸出類型指定為BF16。這一步速度很快，幾分鐘就完成了從安全張量到GGUF的轉換。
真正的量化發生在第二步：調用llama-quantize工具，把BF16的GGUF轉換成Q4_K_M格式。這個精度能在保持足夠推理質量的同時，把模型體積大幅壓縮，更適合在個人設備上運行。等待了一會兒，量化結束，gemma-4-E4B-it-Q4_K_M.gguf文件出現在gguf目錄中，一切就緒。
他用llama-cli加載新出爐的量化模型，指定了99層都跑在GPU上，溫度0.7，上下文窗口4096。終端里先是刷出了llama.cpp經典的彩色LOGO，隨后構建信息、模型路徑、模態類型一一列出。測試階段，他敲下最簡單的“hello”，模型每秒生成40個token，延遲幾乎感知不到。接著又讓模型自我介紹，Gemma 4立刻進入思考鏈，在Thinking Process里逐條理清自己的身份、開發方、能力和知識截止日期，回答規整得像個老朋友在聊天。
原本只在云端或寒武紀集群上討論的Gemma 4，就這樣安安靜靜地跑在了Mac的NPU和GPU混合算力上。沒有復雜的配置，沒有繞不開的依賴地獄，幾下命令就讓這個多模態大模型住進了筆記本。對于想要離線使用、想自己動手捏模型細節的產品和開發者來說，這套流程把“本地大模型”從PPT上的目標，變成了終端里實測可用的工具。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
