Midscene Chrome擴展快速上手指南3步實現自然語言操控瀏覽器【免費下載鏈接】midsceneGUI Agent for E2E Testing項目地址: https://gitcode.com/GitHub_Trending/mid/midsceneMidscene Chrome擴展用自然語言控制瀏覽器頁面完成操作、數據提取與界面校驗。它用截圖視覺識別解決選擇器脆弱和視覺校驗缺失兩個 UI 自動化痛點。適合開發者、測試工程師和普通用戶。Midscene 是一個 GUI 自動化工具通過視覺語言模型實現跨平臺 UI 自動化。擴展側邊欄的三類指令Action、Query 與 Assert打開 Midscene 擴展后瀏覽器右側出現指令面板三類指令覆蓋大多數網頁自動化場景Action 操作讓瀏覽器執行動作如點擊搜索框并輸入關鍵詞Query 數據讓模型返回結構化數據如提取商品名稱和價格返回 JSONAssert 校驗檢查界面狀態如頁面頂部出現導航欄擴展先對當前頁面截圖再由模型基于截圖識別并執行不依賴 DOM 選擇器頁面樣式變化后只要視覺結構不變仍可操作。Query 還支持指定返回結果的字段結構例如要求返回{name, price}數組時會直接得到 JSON。面板同時顯示實時截圖與模型決策過程便于排查它為什么操作某個元素。輸入指令后點擊 Run 執行復雜指令建議先到 Playground 驗證見下文。Bridge模式本地腳本遠程操控瀏覽器Bridge模式讓本機運行的 Node.js 腳本接管桌面版 Chrome復用其登錄態與 Cookie 環境。人機混合操作自動化與人工步驟交替進行適合需要人工介入的流程復用登錄狀態操作真實瀏覽器頁面避免重復認證跨設備控制腳本與瀏覽器運行在不同機器上時在擴展的 Bridge Mode 面板填寫 Bridge Server 地址即可連接安裝擴展后運行腳本在瀏覽器彈出的確認對話框中點擊 Allow 建立連接支持始終允許且可在 Bridge Mode 面板重置。擴展圖標以黃點、綠點區分監聽與已連接狀態。YAML 腳本運行器中也可通過web字段設置bridgeMode啟用該模式。Playground調試復雜指令的沙盒環境Playground 提供獨立的執行環境復雜指令可在其中調試而不影響實際流程。實時頁面上下文左側展示頁面截圖、右側展示執行結果便于定位指令失敗原因指令復用在 Playground 中驗證通過的指令可直接復用到 YAML 腳本或代碼集成在側邊欄的 Playground 入口打開當前頁面輸入相同指令并點擊 Run即可對照截圖與執行結果調試。從零到第一條自動化指令的4個步驟 克隆倉庫git clone https://gitcode.com/GitHub_Trending/mid/midscene配置模型準備一個具備 UI 定位能力的多模態模型將配置粘貼到擴展設置中保存安裝擴展從 Chrome Web Store 安裝開發版構建 Chrome 擴展源碼 后在chrome://extensions/加載輸出目錄執行第一條指令打開任意網頁在側邊欄輸入點擊搜索框并搜索 Midscene點擊 Run使用 Midscene 擴展的常見避坑點??指令模糊獲取數據過于籠統 → 寫明確提取表格中所有產品的名稱、價格和庫存頁面未加載就點擊動態頁面直接點擊會失敗 → 在指令中加入等待如等待頁面加載完成后點擊登錄按鈕擴展沖突報Cannot access a chrome-extension:// URL of different extension時說明其他擴展注入了腳本 → 在開發者工具中定位沖突擴展并禁用本地 Ollama 返回 403設置環境變量OLLAMA_ORIGINS*允許擴展訪問開啟遠程訪問后暴露 Bridge服務端默認只監聽 127.0.0.1使用allowRemoteAccess時需限制在可信網絡內Midscene 把自然語言指令與視覺模型結合讓瀏覽器完成操作、數據提取與界面校驗。打開擴展輸入第一條指令開始調試你的第一個自動化流程。【免費下載鏈接】midsceneGUI Agent for E2E Testing項目地址: https://gitcode.com/GitHub_Trending/mid/midscene創作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考