GUI 自動(dòng)化，是打通 AI 現(xiàn)實(shí)操作鏈路的必選項(xiàng)嗎？

作者丨宇景

編輯丨馬曉寧 梁丙鑒

2026 年 5 月 11 日，本地 AI 智能體框架 OpenClaw 正式上線了 macOS 專屬桌面操控工具 Peekaboo，提供像素級(jí)截圖、UI 元素識(shí)別、以及完整的 GUI 自動(dòng)化能力。簡(jiǎn)單來說，就是讓 Agent “長(zhǎng)出眼睛”，從此看得見屏幕、點(diǎn)得到按鈕，甚至自主操作電腦。

GUI 自動(dòng)化或可以視為 OpenClaw 在 Computer Use 上的最后一塊能力短板。此前的 Agent 交互模式尚停留在文本對(duì)話層面，雖然已經(jīng)實(shí)現(xiàn)了高度自主的指令遵循和任務(wù)閉環(huán)能力，但圖形操作界面仍然是人類的專屬。而 Peekaboo 的登場(chǎng)將 Agent 帶進(jìn)了下一個(gè)時(shí)代，只有能夠“看見”，它們才算是成為了真正能夠全權(quán)接管桌面的自主執(zhí)行體。

那么對(duì)用戶而言，這意味著什么樣的體驗(yàn)革新？Peekaboo 又是如何讓 AI 真正接管桌面？我們第一時(shí)間上手進(jìn)行了實(shí)測(cè)。

01

接管桌面，OpenClaw 超進(jìn)化

“Agent 的眼睛”聽起來很像是某種普通的附加功能，但這一描述遠(yuǎn)遠(yuǎn)低估了 Peekaboo 的真實(shí)地位，它更重要的意義在于徹底打破了 Agent 只能被動(dòng)應(yīng)答的局限，將其拉入真實(shí)的桌面操作場(chǎng)景。

Peekaboo 搭載的像素級(jí)識(shí)別能力，能夠自動(dòng)精準(zhǔn)標(biāo)注屏幕上的按鈕、輸入框、彈窗、軟件窗口等所有界面元素，且無需人工標(biāo)記或提前適配。同時(shí)它可以完美模擬人類的操作邏輯，自主完成鼠標(biāo)點(diǎn)擊、文字輸入、頁面滾動(dòng)、快捷鍵操控等全套鍵鼠行為。

更核心的優(yōu)勢(shì)在于無依賴通用性，Peekaboo 不依賴軟件官方 API、無需嵌入 SDK 適配，這意味著所有桌面軟件、網(wǎng)頁平臺(tái)都能直接兼容適配。它在賽博世界留下的痕跡就像一個(gè)真正的人類用戶那樣，一切你能操作的對(duì)象，它都可以接手。

這已然提供了一種重構(gòu)電腦操作底層邏輯的可能。而我們首先好奇的是，Peekaboo 到底是具備真實(shí)的落地能力，抑或只是噱頭式的 Agent 玩具？在真實(shí)的桌面環(huán)境下，我們首先測(cè)試了其復(fù)雜連續(xù)操作能力。

這是一項(xiàng)信息檢索測(cè)試。我們要求 Peekaboo 打開 Safari 瀏覽器，自動(dòng)關(guān)閉網(wǎng)頁彈窗干擾，然后在頂部網(wǎng)址搜索框查找「AI近期大事」，在下方一眾搜出來的網(wǎng)站中，打開第一個(gè)網(wǎng)站，然后關(guān)閉網(wǎng)站。

整套流程全部由 OpenClaw 自主完成，任務(wù)內(nèi)容雖然并不復(fù)雜，但實(shí)際操作覆蓋了圖標(biāo)識(shí)別、按鈕點(diǎn)擊、彈窗檢測(cè)、搜索框定位、內(nèi)容輸入等多項(xiàng)能力。

特別是在同一個(gè)頁面中執(zhí)行輸入內(nèi)容、定位詞條等任務(wù)時(shí)，從視頻中可以看出，Peekaboo 自主完成了規(guī)避彈窗干擾、適配動(dòng)態(tài)網(wǎng)頁布局，這表明其能夠穩(wěn)定地識(shí)別復(fù)雜的軟件界面。更關(guān)鍵的是，在連貫完成多步驟桌面操作時(shí)，Peekaboo 表現(xiàn)出的操作邏輯也非常貼合人類使用習(xí)慣。

到此為止，可以說 Peekaboo 絕非僅僅支持單點(diǎn)點(diǎn)擊的演示型工具。當(dāng)然，對(duì)于 GUI 自動(dòng)化而言這還只是入門。落地能力更為核心的考驗(yàn)是在任務(wù)流延伸至跨軟件乃至跨系統(tǒng)的程度時(shí)，Peekaboo 是否仍然能夠?qū)崿F(xiàn)全流程自主的桌面操作。

第二項(xiàng)測(cè)試將信息檢索延伸至成果交付階段，要求 Peekaboo 在 Safari 瀏覽器中搜索百度熱搜榜，依次提取熱搜榜、電影榜、小說榜、電視劇榜前六名的數(shù)據(jù)，然后回到桌面新建 Excel 表格，將此前采集到的四類榜單數(shù)據(jù)進(jìn)行匯總。

結(jié)果顯示，Peekaboo 自主操作電腦完成了長(zhǎng)鏈路的復(fù)合任務(wù)。其中涉及到瀏覽器的部分在案例一中已有所展示，更值得關(guān)注的是其在瀏覽器、辦公軟件、系統(tǒng)桌面、文件夾、系統(tǒng)設(shè)置等多個(gè)操作平臺(tái)之間的跳轉(zhuǎn)，整套流程并未出現(xiàn)需要人工干預(yù)的卡頓。

這意味著 OpenClaw 和 Peekaboo 的結(jié)合已經(jīng)具備了真實(shí)的辦公自動(dòng)化能力，而 OpenClaw 的定位也正在從 AI 工具的調(diào)用者，轉(zhuǎn)向下一代桌面環(huán)境操作底座。在 Agent 普遍以調(diào)用第三方工具為核心邏輯的背景下，Peekaboo 讓 OpenClaw 成為了距離接管整個(gè)電腦最近的選手。

02

極客玩具，普通人也能上手了

很長(zhǎng)一段時(shí)間以來， AI 桌面自動(dòng)化工具大多局限于極客群體，難以走進(jìn)普通用戶日常的辦公、生活場(chǎng)景。而 Peekaboo 的不同之處在于，它的部署跟競(jìng)品比起來實(shí)在太簡(jiǎn)單了，既可以作為 MCP 服務(wù)運(yùn)行，一行命令行無縫接入OpenClaw、Codex、Claude Code 或 Cursor，小白也可以直接在 ClawHub 安裝 Peekaboo Skill，零配置使用。

事實(shí)上，GUI 自動(dòng)化并非全新的嘗試，類似的產(chǎn)品此前也并不鮮見，但恰恰是作為后來者的 Peekaboo 踩上了新一代多模態(tài)技術(shù)的東風(fēng)。UI 識(shí)別曾經(jīng)是長(zhǎng)期困擾這一賽道的瓶頸之一，突如其來的彈窗和頁面內(nèi)容變動(dòng)，導(dǎo)致的 GUI 自動(dòng)化翻車是家常便飯。而 Peekaboo 不綁定單一廠商，可以說是坐收多模態(tài)技術(shù)水漲船高的紅利。

此外，曾經(jīng)的 GUI 自動(dòng)化工具要看軟件廠商臉色行事，系統(tǒng)權(quán)限被牢牢把握在對(duì)方手中，真正能夠落地的場(chǎng)景非常有限，強(qiáng)行上馬的結(jié)局往往是被送上黑名單。最終有能力和毅力把它們用起來的，往往也只剩下極客。

而對(duì)于 OpenClaw 而言，這同樣不再是問題。傳統(tǒng)方案是等廠商開放 API 接口，Peekaboo 直接操作屏幕，不僅繞開了請(qǐng)求許可的環(huán)節(jié)，而且意味著即使是那些多年不曾更新的小眾軟件，和從未對(duì)外開放接口的內(nèi)部工具，都被一視同仁地納入了 Peekaboo 的能力范圍。

多模態(tài)技術(shù)的迭代和對(duì)封閉生態(tài)的突破合流，某種程度上，Peekaboo 成為了第一款普通人也能用的桌面自動(dòng)化工具。

將這種顛覆性的桌面操控能力交予大眾之手的同時(shí)，Peekaboo 另一個(gè)讓人驚喜之處是高度完善的安全性保障。隱私方面，Peekaboo 會(huì)對(duì)操作界面進(jìn)行像素級(jí)截圖，但由于全程跑在本地，因此屏幕畫面無需上傳云端。此外可控性方面，Peekaboo 執(zhí)行的每一項(xiàng)任務(wù)都有完整的操作記錄可供追溯，由手動(dòng)觸發(fā)啟動(dòng)，不支持后臺(tái)靜默運(yùn)行，且可以隨時(shí)一鍵中斷。

多重安全機(jī)制疊加下，雖無法實(shí)現(xiàn)絕對(duì)的零風(fēng)險(xiǎn)，操作的主動(dòng)權(quán)卻始終由用戶掌控，有效規(guī)避了 AI 后臺(tái)私自操作、隱私數(shù)據(jù)泄露等核心風(fēng)險(xiǎn)。

03

必經(jīng)之路，還是權(quán)宜之計(jì)

在出色的桌面操控能力之外，Peekaboo 仍然表現(xiàn)出了諸多 GUI 自動(dòng)化工具常見的問題。

首先是坐標(biāo)偏移。不同的顯示器分辨率、窗口縮放比例之下，頁面元素位置的變化偶爾會(huì)導(dǎo)致點(diǎn)擊坐標(biāo)漂移、操作點(diǎn)位偏差。即便整體識(shí)別率處于較高水平，也仍然影響了 Peekaboo 對(duì)于復(fù)雜任務(wù)的完成精度。

此外還有上下文遺忘。當(dāng)超長(zhǎng)程任務(wù)進(jìn)行到后半段時(shí)，Peekaboo 常常會(huì)忘記自己此前干了什么，然后重復(fù)執(zhí)行某些操作，直到卡死進(jìn)程。

當(dāng)然如果你看了前面的測(cè)試視頻，會(huì)發(fā)現(xiàn)最明顯的問題仍然是執(zhí)行速度。復(fù)雜界面識(shí)別、超長(zhǎng)任務(wù)流程都會(huì)導(dǎo)致 Peekaboo 有比較明顯的延遲，這也是 GUI 自動(dòng)化工具的通病。

一種解釋是，視覺方案在執(zhí)行速度上無法與通過代碼命令直接操作比擬，但更值得追問之處在于，這是否意味著視覺方案本身的落地能力就不盡人意。

除了此前提到的操作精準(zhǔn)性和執(zhí)行速度，通過多模態(tài)理解實(shí)現(xiàn)的 GUI 自動(dòng)化還意味著不俗的 Token 成本。Peekaboo 在設(shè)計(jì)之初顯然也考慮到了這一點(diǎn)，試圖通過 VQA 定向分析和元素 ID 壓縮等方式減少 Token 消耗，前者指多模態(tài)模型收到屏幕截圖后不返回完整圖像描述，而是針對(duì)具體問題生成精簡(jiǎn)回答，后者則表示使用短 ID 來標(biāo)記界面 UI 元素，相比原始坐標(biāo)或完整描述更加緊湊。

然而當(dāng)代碼命令方案成為比較的對(duì)象，這仍然是一筆無法忽視的成本。

在 Peekaboo 之前，另一個(gè)耐人尋味的例子是豆包手機(jī)助手。后者初期憑借便捷體驗(yàn)快速出圈，但很快因其使用安卓系統(tǒng)級(jí)高危權(quán)限模擬用戶點(diǎn)擊、跨應(yīng)用跳轉(zhuǎn)，被微信、支付寶、淘寶等主流 App 的風(fēng)控系統(tǒng)識(shí)別為異常行為，導(dǎo)致部分跨應(yīng)用操作功能受限或被迫下線，甚至一度遭到眾多主流軟件廠商的聲討。時(shí)至今日，其后續(xù)發(fā)展仍然面臨著生態(tài)兼容與合作模式的重大不確定性。

這背后是 GUI 自動(dòng)化技術(shù)在權(quán)限邊界、數(shù)據(jù)主權(quán)和商業(yè)利益上與現(xiàn)有移動(dòng)生態(tài)的深層沖突。Peekaboo 為規(guī)避生態(tài)壁壘而生，卻無法真正繞過它。當(dāng) Agent 之爭(zhēng)走向落地執(zhí)行能力的較量，速度、成本、準(zhǔn)確性，日后或許都會(huì)成為 Peekaboo 的命門。

視覺方案到底是打通 AI 現(xiàn)實(shí)操作鏈路的必經(jīng)之路，還是生態(tài)封禁被真正突破之前的權(quán)宜之計(jì)？值得拭目以待。

未經(jīng)「AI科技評(píng)論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號(hào)轉(zhuǎn)載請(qǐng)先在「AI科技評(píng)論」后臺(tái)留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來源并插入本公眾號(hào)名片。