Playwright MCP Burns 114K Tokens Per Test. The New CLI Uses 27K. Here’s When to Use Each | by Pramod Dutta | Feb, 2026 | Medium

TL;DR

Tác giả test thực tế thấy Playwright MCP tốn ~114K tokens/test, trong khi CLI chỉ ~27K — cách nhau 4 lần. Nhưng CLI không phải lúc nào cũng tốt hơn. Bài này share decision tree 3 câu hỏi để biết khi nào dùng cái nào, giúp bạn tiết kiệm token mà vẫn test hiệu quả.

Nói đơn giản: Hai cách dùng Playwright để tự động test web — một cách đưa hết data vào AI (tốn nhiều tiền), một cách chỉ hỏi khi cần (rẻ hơn). Tùy workflow mà chọn.

Bài này dành cho ai?

1. QA/Automation Engineer muốn AI giúp test

Vấn đề: Token burn quá nhanh, AI bắt đầu “quên” context sau 10-15 bước Khi nào cần: Chạy AI test daily, cần tối ưu chi phí Được gì: Biết cách chọn tool phù hợp, tiết kiệm 4x token

2. Developer build AI testing agent

Vấn đề: Agent chạy lâu thì context window “cooked”, output sai Khi nào cần: Viết agent tự động explore app và viết test Được gì: Decision tree rõ ràng, hybrid workflow đã được test thực tế

Các điểm chính

1. MCP đưa hết vào context, CLI chỉ hỏi khi cần MCP trả về full accessibility tree + screenshot + console sau mỗi action — tất cả vào context. CLI chỉ trả về file path, agent tự quyết định có đọc không. → Làm gì: Session <10 bước, cần deep understanding → MCP. Session >10 bước → CLI.

2. Token sink #1: Tool schema overhead MCP expose 26+ tools, mỗi cái có full JSON schema. Load vào context từ đầu ~4,200 tokens. CLI chỉ cần đọc playwright-cli --help một lần ~68 tokens. → Làm gì: Không cần quan tâm schema nếu dùng CLI.

3. Token sink #2: Inline snapshots Mỗi navigation MCP trả về full accessibility tree. Login form đơn giản ~3,800 tokens. Dashboard phức tạp ~50K tokens. Sau 3 navigations, bạn mang theo cả núi stale data. → Làm gì: CLI lưu snapshot ra YAML file, agent đọc khi cần.

4. Token sink #3: Inline screenshots MCP gửi image bytes trực tiếp vào context — hàng nghìn tokens mỗi lần. CLI save PNG ra disk, zero pixels vào context trừ khi agent explicitly open. → Làm gì: Chỉ đọc screenshot khi thực sự cần verify visual.

5. MCP vẫn thắng: Không filesystem Agent chạy trong Claude Desktop hoặc sandboxed environment không có shell access? CLI không hoạt động được — cần disk để save snapshots. MCP là lựa chọn duy nhất. → Làm gì: Kiểm tra môi trường chạy agent trước khi chọn tool.

6. MCP vẫn thắng: Multi-agent collaborative testing MCP server persistent cho phép nhiều agent share browser context. Tác giả chạy agent A verify functional, agent B monitor accessibility — cùng session. CLI sessions isolated by design. → Làm gì: Multi-agent architecture → MCP.

7. CLI dominates: Session >15 bước By step 15, MCP carry 60-80K tokens accumulated. Model bắt đầu lose earlier context. CLI flat — step 50 cost same as step 5. → Làm gì: Complex flows 30-50 steps → CLI.

8. CLI dominates: Agents juggle browser + code Khi agent cần explore app, viết test, chạy test, verify fix — trong một session — bạn không thể spend 100K tokens cho browser state. Context cần cho source files, test code, reasoning. → Làm gì: Agent vừa test vừa code → CLI.

9. Decision tree: 3 câu hỏi Q1: Agent có filesystem access không? → Không → MCP Q2: Bao nhiêu browser interactions? → <10 deep understanding → MCP, >10 → CLI Q3: Single hay multi-agent? → Multi → MCP, Single → CLI → Làm gì: Trả lời 3 câu này trước khi bắt đầu.

10. Hybrid approach: MCP exploration → CLI execution Tác giả dùng MCP cho Phase 1: agent map app structure, identify test flows (8-10 steps). CLI cho Phase 2: concrete test runs (30-50 steps). Phase 3: không AI, chạy static .spec.ts deterministic. → Làm gì: Đừng chọn một tool cố định — switch theo workflow.

Quick Start

1. Tuần này — kiểm tra workflow của bạn Hỏi 3 câu: Có filesystem? Bao nhiêu steps? Single hay multi-agent? Trả lời xong là biết dùng MCP hay CLI rồi.

2. Nếu test thường xuyên >10 bước Thử npm install -D @playwright/cli, chạy thử playwright-cli open [url], so sánh token usage với MCP của bạn. Con số sẽ nói ra tất cả.