這款開源免費AI工具，自然語言指令控制 Android 和 iOS 設備 引言

打開App、切回微信、找設置、關彈窗、設鬧鐘……現代人每天在手機上重復的機械操作，加起來可能比實際工作還多。尤其是遇到需要跨應用多步聯動的場景，手指點得發麻，效率卻低得可憐。

有沒有一種可能，讓手機自己“聽懂”你的需求，自動把活干完？

最近，GitHub 上悄然跑火了一個名為 mobilerun 的開源項目。它直接把大語言模型（LLM）接入安卓交互層，實現了真正的“自然語言控機”。今天星哥就帶大家拆解這個項目，看看它能不能成為你口袋里的“AI代操作助手”。

核心亮點

星哥任務這個開源工具最大的兩點：使用自然語言指令控制 Android 和 iOS 設備。

傳統手機自動化要么靠錄制固定路徑（換個UI就失效），要么需要寫腳本（門檻太高）。mobilerun 的底層邏輯完全不同：讓AI當大腦、截圖當眼睛、ADB當手腳。

• ? 說人話就能控機 ：無需記憶控件ID或坐標，直接輸入日常指令，如 “打開設置，查看Android版本” ，AI會自動拆解步驟并執行。

• ? 不綁定單一模型 ：兼容 OpenAI、Anthropic Claude、Google Gemini 等主流服務商，你手頭有哪個 Key 就能用哪個，靈活切換。

• ? 雙端調用友好 ：提供極簡命令行（CLI），零基礎也能跑通；同時開放 Python API，開發者可輕松將其嵌入自動化流水線或定制 Agent。

• ? 動態視覺解析 ：通過實時截圖分析當前界面狀態，遇到彈窗、權限請求或頁面跳轉時，能自適應調整操作策略，告別“死坐標”。

Python 3.14 目前不受支持。請使用 Python 3.11 – 3.13

下載地址（官方穩定版）：

                                                           https://www.python.org/ftp/python/3.11.9/python-3.11.9-amd64.exe

? 安裝時一定要勾選：Add Python to PATH

? 安裝后打開 CMD 輸入：

                                                           PS C:\Windows\system32> python --version
Python 3.11.9

顯示 Python 3.11.x 就對了。

二、Windows 11 必看額外配置（連接手機） 1. 安裝 ADB（安卓調試工具）

mobilerun 必須依賴 ADB

下載：https://dl.google.com/android/repository/platform-tools-latest-windows.zip

解壓后，把路徑添加到系統 PATH，然后在 CMD 測試：

                                                           adb --version

實際

                                                           PS C:\Windows\system32> adb --version
Android Debug Bridge version 1.0.41
Version 37.0.0-14910828
Installed as D:\mysoft\adb\adb.exe
Running on Windows 10.0.28000

連接電腦后運行：

                                                           adb devices

能看到設備即可。

三、部署指南

星哥把安裝流程梳理這幾步，照著操作基本不會踩坑：

底層通道打通：電腦需安裝并配置好 ADB（Android Debug Bridge）。

手機開啟“開發者選項”，允許 USB 調試（或配置無線 ADB 連接）。

1.安裝uv

                                                           # macOS/Linux
curl -LsSf https://astral.sh/uv/install.sh | sh


 # Windows (PowerShell)
powershell -c "irm https://astral.sh/uv/install.ps1 | iex"

執行結果

                                                           PS C:\Windows\system32> powershell -c "irm https://astral.sh/uv/install.ps1 | iex"
downloading uv 0.11.9 (x86_64-pc-windows-msvc)
installing to C:\Users\Admin\.local\bin
  uv.exe
  uvx.exe
  uvw.exe
everything's installed!

 To add C:\Users\Admin\.local\bin to your PATH, either restart your shell or run:

     set Path=C:\Users\Admin\.local\bin;%Path%   (cmd)
    $env:Path = "C:\Users\Admin\.local\bin;$env:Path"   (powershell)

                                                           uv tool install mobilerun

設置 Portal APK Mobilerun 要求在 Android 設備上安裝 Portal 應用程序以進行設備控制。

Portal 應用程序提供可公開 UI 可訪問性樹的可訪問性服務，使代理能夠查看 UI 元素并與之交互。

mobilerun setup 此命令會自動： 下載最新的 Portal APK，將其安裝在連接的設備上，啟用輔助功能服務

                                                           PS C:\Windows\system32> mobilerun setup
Using device: 8UJDU19B26009606
Downloading Portal APK 0.7.1

回到手機中安裝mobilerun Portal

4.測試連接

驗證 Mobilerun 是否可以與您的設備通信：

                                                           mobilerun ping


 實際顯示：
PS C:\Windows\system32> mobilerun ping
Portal is installed and accessible. You're good to go!

運行配置向導以選擇您的提供商、身份驗證方法（API 密鑰或 OAuth）和模型：

                                                           mobilerun configure

這里可以選擇openai、gemini、minimax等等大模型，星哥選擇ollama

                                                           curl http://192.168.1.18:11434
Ollama is running
我使用的qwen3.5:9b

或者，可以將 API 密鑰設置為環境變量：

                                                           # For Google Gemini (default)
export GOOGLE_API_KEY=your-api-key-here

 # For OpenAI
export OPENAI_API_KEY=your-api-key-here

 # For Anthropic Claude
export ANTHROPIC_API_KEY=your-api-key-here

現在您已準備好使用自然語言控制您的設備：

                                                           # 使用默認大模型 (Google Gemini)
mobilerun run "Open the settings app and tell me the Android version"

 mobilerun run "打開設置應用程序并告訴我 Android 版本"

 # 選擇大模型
mobilerun run "Check the battery level" --provider OpenAI --model gpt-4o
mobilerun run "檢查電池電量" --provider OpenAI --model gpt-4o

 # 啟用視覺模式（將屏幕截圖發送給LLM）
mobilerun run "What app is currently open?" --vision
mobilerun run "目前打開什么應用程序？" --vision

 # 啟用推理模式（使用管理器-執行器工作流程來執行復雜任務）
mobilerun run "Find a contact named John and send him an email" --reasoning

 mobilerun run "查找名為 John 的聯系人并向他發送電子郵件" --reasoning

通過腳本創建簡單代理

                                                           import asyncio
from mobilerun import MobileAgent, MobileConfig

 async def main():
    # Use default configuration with built-in LLM profiles
    config = MobileConfig()

     # Create agent
    # LLMs are automatically loaded from config.llm_profiles
    agent = MobileAgent(
        goal="Open Settings and check battery level",
        config=config,
    )

     # Run agent
    result = await agent.run()

     # Check results (result is a ResultEvent object)
    print(f"Success: {result.success}")
    print(f"Reason: {result.reason}")
    print(f"Steps: {result.steps}")

 if __name__ == "__main__":
    asyncio.run(main())

mobilerun安裝好了，就來看看如何使用。

1.查看手機版本

                                                           mobilerun run "Open the settings app and tell me the Android version"


 mobilerun run "打開設置應用程序并告訴我 Android 版本"

cli顯示：

手機顯示：

顯示結果

                                                            Goal achieved: 這是 HarmonyOS 設備（榮耀 V30）。屏幕上顯示 HarmonyOS 版本為 4.2.0，但沒有直接顯示 Android 版本。HarmonyOS 是華為的專有操作系統，基于 AOSP，因此通常在關于手機屏幕上不直接顯示底層 Android 版本。
error uploading: HTTPSConnectionPool(host='eu.i.posthog.com', port=443): Max retries exceeded with url: /batch/ (Caused by SSLError(SSLError(1, '[SSL: WRONG_VERSION_NUMBER] wrong version number (_ssl.c:1006)')))

我手機有兩個微信，它并不能識別，只能打開默認的主微信。

                                                           mobilerun run "打開微信給星星發一句你好！"

由于淘寶閃購的今天簽到已經簽了，試試別的APP

                                                           mobilerun run "打開淘寶閃購，點擊'我的'，再點擊'吃貨豆'，再點擊'簽到'"


 mobilerun run "打開阿里云盤，簽到"

mobilerun 的默認交互是命令行，但可玩性遠超預期：

• ? 基礎直控 ： mobilerun "打開日歷，添加明天下午3點的會議" —— 適合一次性指令。

• ? 參數微調 ：支持指定模型提供商（如 --provider openai ）、鎖定目標設備序列號、設置最大執行步數（ --max-steps ），有效防止 AI 陷入循環。

• ? 代碼級集成 ：通過 Python API，你可以把它寫進定時腳本。例如每天早8點自動拉取天氣、打開通勤導航、播放播客，打造專屬的“晨間自動化鏈路”。

工具雖強，但用對地方才能事半功倍。星哥總結了幾個高頻落地場景，并附上實操建議：

? QA自動化測試：測試同學無需手寫繁瑣的 UI 腳本，用自然語言生成用例，跨機型適配效率大幅提升。
? 遠程協助長輩：父母不會調字體、清緩存、連 Wi-Fi？你遠程發條指令，AI 替他們一步步完成，省心又安全。
? 重復性數據搬運：跨平臺填表、批量截圖歸檔、定時簽到打卡……把機械勞動交給 AI，人專注核心業務。

?? 注意事項（必看）：

1. 1. 幻覺風險 ：大模型仍有誤判可能，復雜流程務必設置步數上限，關鍵操作保留人工確認環節。

2. 2. 隱私紅線 ：涉及支付、密碼、敏感信息的操作，現階段請謹慎使用，建議在隔離或低風險場景驗證。

3. 3. 延遲優化 ：網絡波動或模型響應慢會拖慢執行速度。可嘗試切換低延遲模型，或結合云端服務器部署以提升穩定性。

從“錄制回放”到“視覺識別”，再到如今的“大模型意圖理解”，安卓自動化終于跨過了最陡峭的學習曲線。mobilerun 的價值不在于替代人類，而是把我們從重復勞動中剝離出來，去處理更有創造性的工作。

項目已完全開源（ GitHub：https://github.com/droidrun/mobilerun），感興趣的同學建議先跑個 Demo 感受下。

如果你在配置 ADB、調參或部署時遇到問題，歡迎在評論區留言，星哥會逐一解答。