awesome-harness-engineering

TL;DR

Harness Engineering là việc thiết kế “dàn giáo” (scaffolding) xung quanh một AI agent — từ ngữ cảnh, công cụ, kế hoạch đến hệ thống bộ nhớ — để nó hoạt động hiệu quả và đáng tin cậy trong các tác vụ thực tế.

Nói đơn giản: Như xây nhà vậy, AI model là gạch, còn Harness Engineering là khung sườn, móng cọc — hông có nó thì nhà sập.

Tổng quan

Harness Engineering là một lĩnh vực kỹ thuật mới nổi, tập trung vào việc thiết kế và xây dựng các thành phần hỗ trợ xung quanh một AI agent. Nó hông phải là về việc huấn luyện model, mà là về cái “dàn giáo” (scaffolding) giúp model hoạt động hiệu quả trong môi trường thực. Các ông lớn như OpenAI, Anthropic, Google, và cả Martin Fowler đều đã định nghĩa và nhấn mạnh tầm quan trọng của nó.

Cụ thể, Harness Engineering bao gồm từ việc quản lý ngữ cảnh (context delivery), giao diện công cụ (tool interfaces), lên kế hoạch (planning), vòng lặp kiểm chứng (verification loops), hệ thống bộ nhớ (memory systems) cho đến các môi trường sandbox an toàn. Điểm cốt lõi là: mọi thành phần trong harness đều tồn tại vì bản thân model hông làm được một mình. Và các harness tốt nhất được thiết kế với tư duy rằng những thành phần này có thể sẽ trở nên hông cần thiết khi model cải thiện.

Nói cách khác, nếu bạn đang build AI agent mà chỉ tập trung vào prompt hay model, thì khả năng cao là agent của bạn sẽ “toang” khi gặp task phức tạp. Harness Engineering chính là cách để bạn biến một AI model thông minh thành một AI agent đáng tin cậy và có khả năng giải quyết vấn đề thực tế.

Xài vào việc gì?

Agent cứ “ngáo ngơ” khi làm việc dài hạn hoặc task phức tạp Áp dụng các kỹ thuật Planning & Task Decomposition (như Plan-and-Execute) để chia nhỏ task. Thay vì để agent tự mò mẫm, bạn cho nó một cấu trúc để lên kế hoạch, thực thi từng bước và chỉ replan khi cần. Kết quả là agent có thể xử lý các tác vụ phức tạp, kéo dài nhiều phiên mà hông bị lạc lối, giống như một kỹ sư phần mềm có thể chia task lớn thành các sprint nhỏ.

Token cost cao ngất ngưỡng, agent chạy chậm vì context quá dài Dùng các phương pháp Context Delivery & Compaction (như LLMLingua, Prompt Caching) để tối ưu hóa ngữ cảnh đưa vào model. Harness có thể tự động tóm tắt hoặc cache các phần context lặp lại. Điều này giúp giảm đáng kể token tiêu thụ (có thể lên đến 80%), tiết kiệm chi phí API và tăng tốc độ xử lý của agent, đặc biệt trong các cuộc hội thoại dài.

Agent xài tool hay bị lỗi, hông đáng tin cậy hoặc gây rủi ro bảo mật Thiết kế Tool Design chuẩn (theo OpenAI Function Calling, Anthropic’s guide) với schema rõ ràng, xử lý lỗi tốt và các annotation an toàn (như readOnlyHint, destructiveHint). Điều này giúp agent chọn đúng tool, xài đúng cách, giảm thiểu lỗi runtime và kiểm soát rủi ro bảo mật khi agent tương tác với hệ thống bên ngoài.

Muốn build agent tự động hóa quy trình sản xuất, cần độ tin cậy cao Tích hợp các Design Primitives như Agent Loop (ReAct, LangGraph), Task Runners & Orchestration cùng với Verification & CI Integration. Nhờ đó, bạn có thể tạo ra các workflow agent tự động, có khả năng tự phục hồi, giám sát và được kiểm thử liên tục. Ví dụ điển hình là Microsoft Azure SRE Agent đã xử lý 35,000+ sự cố sản xuất tự động, giảm thời gian xử lý từ 40.5 giờ xuống 3 phút.

Các điểm chính

• Harness là “xương sống” của AI Agent: Hông phải chỉ model mới quan trọng, mà chính cái “dàn giáo” xung quanh nó mới quyết định agent có thành công hay hông. Cái này giúp agent chuyển từ “demo” sang “production-ready”.
• Tối ưu hóa ngữ cảnh (Context Engineering) là chìa khóa: Quản lý context hiệu quả (compaction, caching, retrieval) giúp giảm chi phí, tăng tốc độ và cải thiện độ tin cậy của agent. Đây là một trong những đòn bẩy hiệu quả nhất để tối ưu agent.
• Thiết kế tool hông chỉ là code: Tool design cần nghĩ đến cách agent “hiểu” và “xài” tool, bao gồm naming, schema, xử lý lỗi và các annotation an toàn. Coi tool design như “agent UX” vậy đó.
• Agent cần một “bộ não” để lên kế hoạch: Các kỹ thuật Planning & Task Decomposition giúp agent xử lý các tác vụ phức tạp, dài hạn bằng cách chia nhỏ chúng thành các bước logic. Hông có kế hoạch thì agent dễ bị lạc lối.
• Vòng lặp Agent (Agent Loop) là nền tảng: Hiểu rõ vòng lặp Observe-Plan-Act-Verify (như ReAct) là cơ sở để xây dựng các agent có khả năng tự điều chỉnh và học hỏi. Đây là trái tim của mọi agent.
• Bảo mật và kiểm thử là hông thể thiếu: Các hệ thống sandbox, permissions và evals (kiểm thử tự động) là bắt buộc để đảm bảo agent hoạt động an toàn và đáng tin cậy trong môi trường production. Đừng nghĩ agent tự thông minh là đủ.
• Tương tác giữa người và agent (Human-in-the-Loop) rất quan trọng: Hông phải mọi thứ đều tự động. Cần có cơ chế để con người can thiệp, giám sát và điều chỉnh khi cần, đặc biệt trong các tác vụ nhạy cảm hoặc quan trọng.

Quick Start

1. Làm ngay tuần này: Đọc các bài viết “Foundations” để nắm vững khái niệm Harness Engineering. Bắt đầu với “Harness Engineering” của OpenAI và “Harness Engineering” của Martin Fowler để có cái nhìn tổng quan về discipline này.
2. Bước tiếp: Xem xét workflow AI agent hiện tại của bạn (nếu có) và xác định đâu là điểm yếu về context, tool hay planning. Thử áp dụng một kỹ thuật compaction (như LLMLingua) hoặc cải thiện schema tool của một chức năng cụ thể.
3. Thói quen duy trì: Định kỳ review các “Design Primitives” mới và cập nhật kiến thức về các giao thức (như MCP, A2A) để đảm bảo agent của bạn luôn “up-to-date” và hiệu quả, hông bị lỗi thời.

FAQ

Harness Engineering khác gì Prompt Engineering? Prompt Engineering tập trung vào cách viết prompt để model hiểu và phản hồi đúng. Harness Engineering là về việc xây dựng toàn bộ hệ thống xung quanh model để nó thực thi tác vụ một cách đáng tin cậy, bao gồm cả cách prompt được tạo ra và quản lý. Prompt Engineering là một phần nhỏ của Harness Engineering.

Tại sao hông chỉ dùng model mạnh hơn là đủ? Model mạnh hơn giúp ích rất nhiều, nhưng nó vẫn cần cấu trúc, ngữ cảnh, công cụ và quy trình để làm việc thực tế. Giống như một kỹ sư giỏi vẫn cần công cụ, tài liệu và quy trình làm việc để hoàn thành dự án, hông thể chỉ dựa vào kiến thức cá nhân.

Harness Engineering có làm tăng độ phức tạp hông? Ban đầu có thể thấy phức tạp hơn vì phải nghĩ đến nhiều thành phần hơn. Nhưng về lâu dài, nó giúp giảm độ phức tạp khi vận hành, debug và mở rộng agent. Nó chuyển sự phức tạp từ “model tự xử lý mọi thứ” (dễ toang) sang “hệ thống xử lý có cấu trúc” (bền vững hơn).

Có cần biết code để làm Harness Engineering hông? Có, đây là một lĩnh vực kỹ thuật sâu. Bạn cần kiến thức về kiến trúc phần mềm, hệ thống, và coding để thiết kế và triển khai các thành phần của harness. Nó đòi hỏi tư duy kỹ sư để xây dựng các hệ thống đáng tin cậy.