去年12月,一位openSUSE用戶在自家終端里養(yǎng)出了奇怪的東西。他開始只是想跑通Ollama的命令行版本,三個月后,這個"東西"已經(jīng)能自己打開瀏覽器查資料了。
他給這個 Frankenstein 式的項目起了個名字:G.E.N.A.,全稱是"導航與學習專業(yè)向?qū)?。
命名風格很拉美,很直白,也很產(chǎn)品經(jīng)理——功能即名字,沒有溢價空間。
從"能說話"到"能上網(wǎng)"的跳躍
G.E.N.A.的進化路徑很典型:第一階段是本地啞巴,只能背誦訓練數(shù)據(jù)里的舊聞;第二階段接入Open WebUI,終于有了臉;第三階段,作者塞給它一個搜索引擎。
這個搜索引擎叫SearXNG,一個開源的元搜索聚合器。它不存儲用戶數(shù)據(jù),也不搞個性化推薦,只是把用戶的查詢匿名分發(fā)到多個搜索引擎,再把結(jié)果扒拉回來。
作者選的模型是phi4-mini:3.8b,微軟的小參數(shù)模型。3.8B放在今天不算驚艷,但跑在本地CPU上足夠輕快,響應(yīng)延遲能壓進秒級。
為什么非要讓本地AI"出門"?
這里有個反直覺的產(chǎn)品判斷:本地部署的大模型,知識截止日就是它的死期。Llama 3再強,也不知道昨天發(fā)生了什么事。
G.E.N.A.的作者顯然被這個問題折磨過。他的解決方案不是換更大的模型,而是給AI配了副"眼鏡"——實時搜索能力。問它"openSUSE Tumbleweed本周更新了哪些內(nèi)核補丁",它能當場去查,而不是一本正經(jīng)地胡說八道。
SearXNG在這里的角色很微妙。它不做AI該做的理解工作,只負責當一只干凈的、不插眼的手,把網(wǎng)頁抓回來扔給phi4-mini消化。
技術(shù)債還是技術(shù)棧?
整個項目跑在openSUSE Tumbleweed上,這是一個滾動更新的Linux發(fā)行版。選它的人通常有兩種:要么享受每周都有新東西的刺激,要么懶得換。
作者屬于前者。他在博客里貼了完整的settings.yml配置和Docker Compose命令,但特意標注了"improvisado"——即興的,臨時的,隨時可能推倒重來。
這種姿態(tài)很開發(fā)者:先讓東西跑起來,再討論它該不該叫架構(gòu)。
G.E.N.A.目前的狀態(tài)是"能用",而非"產(chǎn)品"。沒有應(yīng)用商店,沒有一鍵安裝,只有一行行需要手動調(diào)參的配置。但作者似乎很享受這個狀態(tài)——在AI被封裝成聊天機器人的時代,親手組裝一個會自己查資料的終端助手,本身就是一種復(fù)古的奢侈。
他在文末留了句沒說完的話:下一步想試試讓G.E.N.A.能記住自己搜過什么。本地AI的長期記憶,目前還是個沒人徹底解決的麻煩。
你會愿意花三個周末,養(yǎng)一個只屬于你自己的、會忘事的AI助手嗎?
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.