Khi AI model không còn quá quan trọng với outcome?

TL;DR

Nghiên cứu mới cho thấy frontier models như GPT, Claude, Gemini chỉ hoàn thành được 24% task thực tế dù benchmark đạt 90%. Điều này cho thấy model không phải bottleneck — harness (lớp infrastructure xung quanh model) mới là thứ quyết định AI agent có làm việc được hay không.

Nói đơn giản: Giống như điện thoại — cấu hình chip không còn quan trọng bằng hệ điều hành. AI giờ cũng vậy, model chỉ là “máy” còn harness mới là “xe” chạy trên đường.

Bài này dành cho ai?

1. Người đang build AI agent

Vấn đề: Agent chạy được lúc được, lúc không — không biết fix từ đâu Khi nào cần: Khi thêm bao nhiêu tools, guardrails, routing logic mà agent vẫn fail Được gì: Hiểu rằng vấn đề có thể nằm ở LỚP HARNESS, không phải model

2. Team lead / Manager muốn apply AI vào workflow

Vấn đề: Tuyển người cho AI project nhưng không biết skill nào thực sự cần Khi nào cần: Khi đang định tuyển “prompt engineer” hay mua license model đắt đỏ Được gì: Nhận ra harness engineering mới là skill quan trọng nhất

3. Dev muốn hiểu xu hướng AI 2026

Vấn đề: Thấy AI thay đổi liên tục, không biết tập trung vào đâu Khi nào cần: Khi muốn build hệ thống bền vững, không phải chase model mới mỗi tháng Được gì: Công thức: model thay đổi, harness tốt thì ở lại

Các điểm chính

1. Benchmark 90% không có nghĩa gì trong task thực tế Nghiên cứu EPICS test GPT, Claude, Gemini trên task của consultants, lawyers, analysts — những việc người thật mất 1-2 tiếng. Kết quả: model tốt nhất chỉ làm được 24%. Sau 8 lần thử, lên được 40%. Nguyên nhân không phải model thiếu kiến thức — mà là orchestration và execution fail. → Làm gì: Đừng tin số benchmark. Test trên workflow THỰC TẾ của mình.

2. Harness = hệ điều hành của AI agent Harness quản lý: model thấy gì, dùng tools gì, recover khi lỗi thế nào, track tiến độ ra sao. Model là “máy”, harness là “xe”. Cả ngành đang tranh cãi ai có máy tốt hơn mà không ai build được xe chạy nổi. → Làm gì: Khi agent fail, hỏi “harness có vấn đề gì?” trước khi đổi model.

3. Warsel experiment: Bỏ 80% tools, accuracy từ 80% lên 100% Warsel có text-to-SQL agent với đầy đủ tools: schema reader, query writer, validator… hoạt động 80%. Họ làm thử ngược: bỏ 80% tools, chỉ cho bash, read file, write file — những thứ người thường dùng. Kết quả: accuracy lên 100%, token giảm 40%, nhanh hơn 3.5 lần. Kết luận từ engineer: “Model đã smart, có thể best agent architecture là almost no architecture.” → Làm gì: Thử strip agent xuống, cho nó tools cơ bản thay vì specialized pipeline.

4. Manus rebuild 5 lần trong 6 tháng — rút ra gì? Manus (vừa được Meta acquire) rebuild entire agent framework 5 lần. Phát hiện: performance gains đến từ VIỆC BỎ, không phải thêm. Họ bỏ complex document retrieval, bỏ fancy routing, thay bằng simple shell + specialized tools. Quan trọng nhất: thay management agents bằng structured handoffs đơn giản. → Làm gì: Mỗi lần thêm feature mới, hỏi “Cái này có còn cần không khi model smart hơn?”

5. Context quá dài = signal bị noise drown Manus agent xử lý task cần ~50 tool calls. Dù model support huge context, performance vẫn degrade. Không phải model quên — mà signal từ đầu task bị chôn dưới hàng trăm intermediate results. Giải pháp: dùng file system làm external memory. Agent viết important info ra file, đọc lại khi cần. → Làm gì: Thêm progress file / to-do list cho agent, đọc đầu mỗi action, viết cuối mỗi action.

6. 3 harness thành công nhất hiện nay

→ Làm gì: Nếu đang build, chọn philosophy phù hợp — robust layered (Codex) hay minimal tools (Claude Code).

7. Bitter lesson: Harness nên đơn giản theo thời gian Richard Sutton (father of reinforcement learning) viết essay “The Bitter Lesson”: approaches scale with computation thắng approaches dựa trên human engineered knowledge. Áp dụng vào harness: model càng smart, harness càng phải đơn giản. Nếu mỗi model upgrade mà bạn thêm routing, handcoded logic, custom pipelines — bạn đang swimming against the current. → Làm gì: Build for deletion. Mỗi piece trong harness phải là thứ bạn có thể BỎ KHI model không cần.

Quick Start

1. Tuần này — làm thử Warsel experiment: Lấy agent bạn đang build, strip xuống chỉ còn:

• Run bash command
• Read file
• Write file

Test lại xem kết quả thế nào. Ghi lại accuracy trước và sau.

2. Thêm progress file cho agent: Tạo file markdown, agent đọc đầu mỗi action, viết cập nhật cuối mỗi action. Đây là trick Manus và Claude Code đều dùng.

3. Đánh giá lại team skill: Skill quan trọng nhất hiện giờ không phải prompt engineering hay model selection — mà là harness engineering: ability design infrastructure để agent chạy reliable trong long-running complex tasks.