AI điều khiển mọi ứng dụng macOS

TL;DR

Ghost OS là tool cho phép AI agent điều khiển máy Mac thật sự: click nút, gửi email, tạo file — thay vì chỉ ngồi trong chatbox. Nó đọc cấu trúc app (accessibility tree) để biết mình đang tương tác với cái gì, và tự học workflow để chạy lại sau.

→ Ai cần: Dev đang build AI agent, người muốn automate tác vụ trên Mac.

Bài này dành cho ai?

1. Dev đang build AI agent

Vấn đề: AI giờ viết code được, nhưng không click được nút, không gửi được email, không thao tác được với app thật trên máy. Khi nào cần: Khi muốn agent làm được việc ngoài chat — như điều khiển browser, gửi Slack, quản lý file. Được gì: Thêm 29 tools để AI operate máy thật, tích hợp qua MCP protocol.

2. Người muốn automate tác vụ lặp đi lặp lại

Vấn đề: Mỗi ngày phải làm cùng việc: gửi report, tải file, tạo folder — tốn thời gian. Khi nào cần: Khi có workflow lặp đi lặp lại trên Mac và muốn AI làm thay. Được gì: AI học một lần, chạy mãi mãi. Không cần screenshot mỗi lần.

3. Người xài Claude Code, Cursor, VS Code

Vấn đề: Các AI editor chỉ edit code được, không tương tác với app khác trên máy. Khi nào cần: Muốn AI làm được nhiều thứ hơn trong editor — như chạy terminal, gửi message, quản lý window. Được gì: Tích hợp MCP để extend khả năng của editor.

Các điểm chính

1. AI giờ “nhìn” màn hình bằng cấu trúc dữ liệu, không phải screenshot Thay vì chụp hình đoán猜 (như Anthropic Computer Use), Ghost OS đọc macOS accessibility tree — tập hợp thông tin cấu trúc về mọi element trên màn hình: nút bấm, ô nhập, menu. Khi cần (web app phức tạp), mới dùng vision model local. → Làm gì: Thử ghost_find để tìm element trên màn hình, không cần screenshot.

2. Tự học workflow — làm một lần, chạy hoài Dùng ghost_learn_start để bắt đầu quan sát, thao tác thủ công (click, gõ, chuyển app) một lần, rồi ghost_learn_stop. AI sẽ tổng hợp thành recipe — file JSON có thể chạy lại với tham số khác. Một model mạnh tìm ra workflow, model nhỏ chạy mãi. → Làm gì: Tạo recipe cho task hay làm — gửi email, tải file, tạo folder.

3. 29 tools sẵn sàng — từ click đến điều khiển window AI có thể: đọc màn hình (ghost_read, ghost_context), tìm element (ghost_find, ghost_inspect), click/hover/drag/scroll, gõ phím (ghost_type, ghost_hotkey), quản lý window (ghost_focus, ghost_window), chờ đợi element xuất hiện (ghost_wait), chạy recipe (ghost_run). → Làm gì: Xem full list trong doc, thử từng cái với ghost doctor để check permissions.

4. Local — dữ liệu không rời máy Tất cả chạy trên máy bạn. Vision model (ShowUI-2B) tải về local. Không gửi gì lên cloud. Khác với OpenAI Operator — cái đó xử lý trên cloud. → Làm gì: Yên tâm dùng cho task nhạy cảm, không lo data leak.

5. MCP protocol — tích hợp được với mọi AI client Works với Claude Code, Cursor, VS Code, hoặc bất kỳ tool nào nói MCP. Cài xong ghost setup là có thể kết nối. → Làm gì: Tham khảo GHOST-MCP.md để cấu hình với editor đang xài.

Quick Start

1. Cài đặt:

   brew install ghostwright/ghost-os/ghost-os
   ghost setup

2. Kiểm tra mọi thứ OK:

   ghost doctor

3. Thử recipe có sẵn:

   ghost_run recipe:"gmail-send" params:`{"recipient":"test@example.com","subject":"Test","body":"Hello"}`

4. Tự tạo recipe mới:

   • Chạy ghost_learn_start task_description:"tên task"
   • Thao tác thủ công trên máy
   • Chạy ghost_learn_stop để lấy action sequence
   • Dùng ghost_recipe_save để lưu lại