編注:我們會不定期挑選 Matrix 的優(yōu)質(zhì)文章,展示來自用戶的最真實的體驗和觀點。 文章代表作者個人觀點,少數(shù)派僅對標題和排版略作修改。
▍背景
最近對養(yǎng)龜產(chǎn)生了興趣,家里陸續(xù)來了 6 只:草龜、地圖龜、西非側(cè)頸龜、三只黃喉擬水龜。龜缸上裝了 TP-Link 攝像頭,群暉 NAS 跑著 Surveillance Station 24 小時錄像,水溫傳感器和加熱棒也配齊了。
東西都有,但用起來全是分散的。看溫度一個 APP,看攝像頭另一個,加熱棒手動開關(guān)。錄了幾百 GB 的視頻從來沒人翻。
剛好最近一直在用 Claude Code 折騰家里的 Home Assistant,上周才用它逆向了空氣凈化器的 API。這次想試試,純靠對話,能把養(yǎng)龜這件事做到什么程度。
▍現(xiàn)在是什么樣的
打開手機 HA,龜缸的東西全在一個頁面里,攝像頭畫面、烏龜活動狀態(tài)、加熱棒功率和用電量、水溫濕度趨勢。溫度異常會聊天軟件推送。
每半小時還會收到一段精華視頻和一段 AI 寫的行為分析:
![]()
![]()
整個過程我沒寫一行代碼。儀表盤、自動化、監(jiān)控腳本、視頻處理、AI 分析,都是和 Claude Code 聊出來的。
▍HA 儀表盤和自動化
跟 Claude Code 說的第一句話大概是「把烏龜攝像頭加到 HA 儀表盤上」。
然后就是不停地提需求:
「加熱棒的功率和用電量也顯示出來」 「水溫做個儀表盤,標出適宜溫度區(qū)間」 「加個 24 小時和 7 天的水溫趨勢圖」 「溫度太低或太高給我發(fā)消息」
它每次直接改 HA 的配置文件和儀表盤數(shù)據(jù),改完重啟,我刷新手機看效果。不滿意繼續(xù)說,滿意就下一個。跟一個懂 HA 的人聊天沒什么區(qū)別,我不用管 YAML 怎么寫、automation 怎么配。
![]()
![]()
左:加熱棒 7 天功率、水溫濕度儀表盤;右:24 小時水溫濕度趨勢,帶溫區(qū)標注
水溫趨勢圖標了過冷/偏冷/適宜/偏熱/過熱的區(qū)間。加熱棒功率曲線能看出工作規(guī)律,比如圖上 4 月 7 號之前加熱棒是關(guān)著的,之后才開始工作。
自動化跑了溫度過高和過低兩條告警。溫度異常聊天軟件幾分鐘就能收到。
▍AI 活動監(jiān)測
儀表盤能看數(shù)據(jù)了,但龜在干嘛,水溫曲線看不出來。
我問 Claude Code 能不能做個活動監(jiān)測。它的方案:每 5 分鐘從 SS 錄像里抽幀對比,檢測畫面變化判斷龜有沒有在動。處理放在家里閑置的 Mac 16"(M1 Max 64GB)上,NAS 只管存錄像。
▍抓幀對比
錄像在 NAS,Mac 通過 SSH 讀取。一開始傳整個 100MB 的 mp4,12 秒。后來只傳文件頭 5MB(mp4 的 moov atom 在文件頭,夠解碼出幀),降到 2 秒。
NAS 錄像 → ssh head -c 5MB → OpenCV 讀幀 → 灰度+高斯模糊 → 像素差值變化超 2% 就算「活躍」,結(jié)果推到 HA sensor。
▍精華視頻
「有活動時直接發(fā)視頻給我」
Claude Code 做了每 30 分鐘的精華視頻。檢測到活躍的時間點,從對應(yīng)錄像截取片段拼在一起。
一個細節(jié):一開始用 OpenCV 逐幀重編碼,25 秒出一個片段,畫質(zhì)還糊。后來裝了 ffmpeg 用-c:v copy直接裁切,2 秒搞定,1080p 原始畫質(zhì)。工具選對了差十倍。
▍本地大模型看龜
精華視頻解決了「看什么」。但我還想知道每只龜在干嘛。
我問有什么辦法識別不同的烏龜。Claude Code 列了幾種:OpenCV 顏色輪廓檢測、YOLO、深度學習個體識別、Vision LLM。6 只龜品種差異大,草龜最小深色、地圖龜最大有花紋、西非側(cè)頸脖子側(cè)扁、小青體型差不多,直接用視覺大模型就行,不用訓練。
試了 Gemini API 配額不夠。我說能不能跑本地的。最后用 Ollama 跑 Gemma 4(8B Q4 量化),M1 Max 64GB 沒什么壓力。
分析分兩步。先逐幀:從 30 分鐘錄像均勻抽 30 幀,每幀單獨讓 Gemma 描述看到了什么。再匯總:30 條描述拼一起,讓 Gemma 總結(jié)這半小時。
prompt 改了好幾輪。一開始讓它「分析哪只最活躍哪只最安靜」,輸出很八股。我說不關(guān)心這個,改成「像朋友聊天一樣說說」,輸出就對味了。
![]()
攝像頭視角。右上角是曬背臺,中間紅蘑菇是裝飾。能看到龜在曬背臺上疊羅漢,它們特別愛干這個。
▍架構(gòu)
HA 管數(shù)據(jù)采集、展示、告警。Mac 管視頻處理和 AI 推理。兩邊通過 HA REST API 連起來。launchd 定時跑,開機自啟。![]()
▍關(guān)于沒寫代碼
系統(tǒng)里有 Python 腳本(OpenCV 圖像對比、ffmpeg 調(diào)用、Ollama API、Telegram 通知)、HA 的 YAML 配置(sensor、automation、lovelace dashboard)、launchd 定時任務(wù),代碼量不算少。
但我確實一行都沒手寫。
每一步都是對話完成的。我說「把攝像頭加到儀表盤」,它改 lovelace JSON。說「溫度告警發(fā)聊天軟件」,它寫 automation YAML。說「用本地模型分析龜缸畫面」,它裝 Ollama、拉模型、寫腳本、配定時任務(wù)。
我干的事更像是產(chǎn)品經(jīng)理:說需求、看效果、給反饋。
不是說技術(shù)不重要了。這套系統(tǒng)里有不少技術(shù)判斷,比如只傳 mp4 頭部 5MB 而不是整個文件、用 ffmpeg stream copy 而不是重編碼、逐幀分析再匯總而不是多圖一起扔給模型。只是這些判斷現(xiàn)在 AI 也能做。
▍成本
幾乎為零。硬件家里都有,軟件全開源,AI 推理跑本地。Mac 每月多費大概 3 塊錢電。
養(yǎng)龜是個慢節(jié)奏的事。但每天翻翻聊天軟件的報告,看看誰又霸占了曬背臺、誰偷偷換了個位置,比蹲在缸前看半天有意思多了。
https://sspai.com/post/108453?utm_source=wechat&utm_medium=social
作者:葉水水
![]()
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.