馬上年底，我真是太忙了。

不僅自己要做復盤總結，還得為總結跑各種數(shù)據(jù)、做報表，無聊又繁瑣。牛馬們，懂得都懂...

理論上這種工作可以用 AI 搞定，畢竟沒啥技術含量。但我的難處是因為內(nèi)部數(shù)據(jù)敏感，所以不能用云端大模型，著實讓人捉急。

于是，看著層層堆積的文檔和表格，我決定調(diào)研一下本地部署模型的 AI 產(chǎn)品。

*我的電腦桌面，被堆滿了

翻了一圈后，我發(fā)現(xiàn)業(yè)內(nèi)比較常見的本地模型方案就是 Ollama 和 LM Studio。但是！Ollama 得狂敲代碼，LM Studio 還得自己倒騰模型文件，想想就更累了。

不過，緊接著我就在「甲子光年」的一篇文章中發(fā)現(xiàn)一款本地運行的 Agent —— Libra。據(jù)說它可以直接在 Mac 上本地運行 30B 模型，全程只用點擊和輸提示詞，一行代碼都不用敲。

我決定嘗試一下。

結果就是，我居然在飛機斷網(wǎng)的情況下，用它跑上了任務。

斷網(wǎng)測試，它跑完任務還有點aha moment

當然，安裝 Libra 肯定還得有網(wǎng)，我在出差等飛機的時候閑著無聊蹭了機場 Wi-Fi。

打開 Libra 官網(wǎng)

（https://www.greenbit.ai/）

如果用 Ollama，估計不是在命令行工具里敲 ollama pull llama2 拉模型，就是在裝 Open WebUI 搞操作界面。沒一兩小時根本搞不完。

*下載 Libra 也就需要三十幾秒

Libra 的產(chǎn)品界面讓人很有安全感。

它和大家經(jīng)常用的 AI 助手很像，用戶在輸入框里輸入需求，再在左下角的 Button 里選擇對話或者增強模式，讓 Libra 分清楚這次進行的是溝通還是分析任務。

和其他 AI 工具不同的是，它作為一個端側 Agent，可以在輸入框右下角的按鍵里，選擇本地模型或云端結合模式。在產(chǎn)品左下角的「模型選擇」，可以選擇 30B 或 4B 的端側模型。

整體還是沒什么使用門檻的。

這次利用飛機上的時間，我想讓它幫忙做年終復盤里的數(shù)據(jù)分析任務。

看起來“增強模式”+“本地”的組合很合適，30B 的模型我怕我的 Mac 帶不起來，而且需要訂閱，就先用默認的 4B 模型吧。

一切設置OK，等飛機飛穩(wěn)，我掏出電腦開始實測。

謹慎如我，先找了一份和復盤里數(shù)據(jù)類型類似的過期 Excel 做測試。

這個 Excel 里，有兩款目前已經(jīng)下線的產(chǎn)品的數(shù)據(jù)，包括DAU（日活躍用戶數(shù)）、MAU（月活躍用戶數(shù)）、付費用戶數(shù)、產(chǎn)品營收等指標。我先讓 Libra幫我分析一段時間內(nèi)的數(shù)據(jù)，再總結業(yè)務變化并提出洞察。

我把數(shù)據(jù)存成 csv 文件丟給 Libra，提示詞和用 Gemini、ChatGPT 的時候類似：你是一個數(shù)據(jù)分析專家，附件上傳的是兩款App產(chǎn)品的核心指標數(shù)據(jù)，你的任務是，幫我找到其中有價值的洞察，寫一份數(shù)據(jù)分析報告。

然后，我就把它扔到一邊，開始用飛機上的屏幕打麻將?。

大概過了半小時，我看到 Libra 發(fā)出了提示，任務完成了。

來看看 Libra 生成的結果。沒想到，這個 4B 小模型還挺像那么回事。

它給了我一份9頁的數(shù)據(jù)分析報告，把流量變化、用戶活躍變化、營收波動等等分析了個遍。雖然沒有ChatGPT、Gemini等工具的排版形式豐富，但整體夠用了。

最令我驚訝的是，它指出了我上傳數(shù)據(jù)中的一處錯誤：Libra 發(fā)現(xiàn)有一個月的產(chǎn)品 DAU 比 MAU 還高，這條數(shù)據(jù)應該被剔除。

這是當時產(chǎn)品 bug 帶來的錯誤數(shù)據(jù)，我自己都忘記這件事了，現(xiàn)在被這個背后只有 4B 模型的 Agent 發(fā)現(xiàn)了 Bug。雖然模型小，但智商好像也不低啊...

下飛機后，我把 Libra 分別推薦給了一位律師和一位心理醫(yī)生朋友。

他們也和我一樣，因為工作敏感沒辦法使用聯(lián)網(wǎng)的AI工具，不太想學Ollama。兩位朋友試過之后，也感覺 Libra 這個端側 Agent 沒有出現(xiàn)預想中"小模型智商太低"的情況。

律師朋友在斷網(wǎng)環(huán)境下上傳了合同，讓 Libra 找出條款中的漏洞以及對乙方不太友好條款。結果 Libra 不僅完成任務，還結合了法律條文做說明，引用了數(shù)據(jù)作支撐。

心理醫(yī)生朋友也找了一份患者日記，斷網(wǎng)讓 Libra 做解讀。結果 Libra 給出了一些專業(yè)化解讀，還能量化出患者的心理狀況。

當然，他們也反饋了一些 Libra 的缺點，比如執(zhí)行任務的時間有點長，報告樣式比較單一等。

綜合三個人的體驗，我總結了這個端側 Agent 的特點。

優(yōu)勢：

• 在斷網(wǎng)的環(huán)境下穩(wěn)定可用；

• 操作簡單，容易上手；

• 本地模型的智能性較強；

• 指令的遵循能力比較好，不太需要反復跑同樣的任務；

• 生成的文檔可以編輯、導出，支持多種格式。

缺點：

• 任務的耗時比較長；

• 生成文檔的樣式比較類似，不能直接生成 PPT；

• 有時生成的文檔內(nèi)容篇幅較短。

整體來說，雖然還有優(yōu)化空間，但 Libra 為需要處理敏感數(shù)據(jù)的打工人提供了一個可用的選擇。

一個期待已久的市場，一家公司10年的路程

其實不只是我，Local AI 以及端側 Agent 一直以來都有市場需求。

像政務、大型企業(yè)、金融、醫(yī)療這種行業(yè)，總有大量的嚴肅場景里的敏感數(shù)據(jù)不便于使用云端大模型。再加上，在飛機、地鐵等網(wǎng)絡不暢的環(huán)境里，云端模型難以發(fā)揮作用，只能依賴本地。

但之前，這些行業(yè)里的很多朋友都沒找到真能干好活的端側產(chǎn)品。這一方面是因為端側模型對端側算力的要求高，但芯片難以支持。另一方面是因為端側模型的參數(shù)都比較小，“智商”不夠。

*Twitter 上知名AI博主分享的本地小模型失敗案例：模型把AI界大佬Andrej Karpathy當成是超模和演員，還說他的超能力是極光，能變身成任何一個漫威角色（https://x.com/Yuchenj_UW/status/1978144157970661495）注：NanoChat的創(chuàng)造者正是Andrej Karpathy本人

這就是為啥 Libra 效果并不算炸裂，還能讓我這么興奮的一個原因——至少，端側 Local AI 已經(jīng)有了一個能跑起來的產(chǎn)品。

讓我更激動的一件事是，它的出現(xiàn)還意味著端側的技術鏈條快成型了。

首先是模型層面，這兩年基礎大模型的能力一直在提升，還有越來越多的頭部模型廠，像 Google Gemma 系列、Qwen 都開始發(fā)力參數(shù)更小的模型。

硬件算力也一直在提升。目前 Mac 的最強芯片 M4 的神經(jīng)網(wǎng)絡推理算力大約是 38 TOPS，相比初代 M1 的 11 TOPS，推理算力有了兩倍多的提升。現(xiàn)在的 Libra，也是跑在 M 芯片的 Mac 上，預計將在明年發(fā)布的 M5，算力只會更強。這些進展，意味著在本地運行模型時推理速度將會更快。

我又好奇地搜了下 Libra 背后的公司，發(fā)現(xiàn)原來這是一家專注于端側智能 Local AI 方向的創(chuàng)企——GreenBit AI。

GreenBit AI 把自己定位為“低比特神經(jīng)網(wǎng)絡/模型優(yōu)化 + 本地離線 AI 部署”的解決方案提供方。也就是說，這是一家擅長把“不降智”的模型放進各種機器里的公司。

這樣一看，Libra 出現(xiàn)的邏輯就合理了很多——當需求和技術都在向 Local AI 靠攏，GreenBit 團隊的能力補上了 Local AI 技術拼圖中非常重要的一塊，它自研了一整套 Local Agent Infra 技術，能讓小模型不降智。

模型壓縮這件事，業(yè)內(nèi)通常的做法就是降比特數(shù)，代價是精度的下降。我看到，GreenBit AI 自研了一套 GBAQ（GreenBit-Aware Quantization）算法，能識別出模型里哪些權重是真正重要的，從而在量化的時候保護這部分，其余的部分就直接壓縮。

從他們公布的數(shù)據(jù)看，這個方法在保持準確性的同時還能降低推理時 Token 消耗。這也是為什么同樣是 4B 的本地模型，Libra 上的模型跑起來不會感覺“降智”。

*圖源 Libra 官網(wǎng)

我還看到，這家公司居然已經(jīng)在這個方向做了近10年。

一些文章里提到，GreenBit AI 的創(chuàng)始人楊浩進，博士畢業(yè)于德國 HPI （Hasso Plattner Institute）計算機系統(tǒng)工程院，從 2016 年就開始做 1-bit 神經(jīng)網(wǎng)絡（BNN），也就是最大程度壓縮模型的技術。這個方向在當時算是非主流，因為那會兒大家都在堆參數(shù)、堆層數(shù)，把模型往大了做。

2018 年左右，BNN 因為精度問題被學術界逐漸冷落，但楊浩進還沒有放棄。到了 2022 年，我看到他和團隊推出了 BNext-L，在 ImageNet 上拿到 80.4% 準確率，算是讓 1-bit 量化達到了可用的水平。

*圖源甲子光年

這些技術經(jīng)驗都為剛剛提到的，能幫助模型識別重要權重的 GBAQ 算法提供了基礎。

2023年，GreenBit AI 正式成立了。除了楊浩進，GreenBit AI 的核心團隊成員大部分來自 HPI 的學者，也有來自華為、博世 AI 等機構的研究員。

*GreenBit AI 的創(chuàng)始人楊浩進

這讓我意識到，原來前幾天在飛機上斷網(wǎng)用到的 Libra，是很多研究人員花了快十年的時間，趟過無數(shù)個坑，才出現(xiàn)在我面前的。

如果要給 Libra 提出更多的優(yōu)化建議，我能說出很多。比如能不能提升任務執(zhí)行速度，能不能加一些酷炫的交互，能不能加對話和分析之外的功能...

但看完了 Libra 背后的路程，我覺得，此時此刻的它已經(jīng)是一個很有代表意義的產(chǎn)品。

*Libra（滑動查看更多）

但故事顯然還沒結束，就在我即將寫完這篇文章的時候，看到 GreenBit AI 更新了自己的推特。帖子中的視頻顯示，支持 NVIDIA DGX Spark 的 Libra 即將上線了。這意味著在 Mac 之外，能用到 Libra 的設備更多了。

或許不久之后，我們都能在飛機上用到更好用的 AI 搭子。