Plano — Proxy server để build AI agent production-ready dễ hơn

TL;DR

Plano giải quyết mấy cái “hidden middleware” lúc đưa AI agent từ demo ra production: routing, guardrail, observability. Giờ chỉ cần viết config YAML, agent là HTTP server bình thường, xong.

Nói đơn giản: Tool giúp bạn build AI agent mà không phải tự viết mấy thàm chứ nhán như routing, logging, bảo mật.

Bài này dành cho ai?

1. Dev đang build AI agent product

Vấn đề: Demo thì nhanh, nhưng đưa vào production phải viết thêm cả đống thứ: routing, guardrail, logging, model fallback… Khi nào cần: Khi thấy mình viết code lặp đi lặp lại mấy thứ giống nhau cho mỗi agent Được gì: Không phải viết “hidden middleware” nữa — khai báo trong YAML là xong

2. Team muốn scale AI agent

Vấn đề: Thêm agent mới phải sửa code, test lại, deploy lại cả hệ thống Khi nào cần: Khi cần chạy nhiều agent cùng lúc, hoặc switch qua lại giữa nhiều model Được gì: Thêm agent chỉ bằng thêm vào config, không đụng code

3. Người muốn observability cho AI agent

Vấn đề: Không biết agent đang làm gì, không trace được, không đo lường được Khi nào cần: Khi cần debug hoặc cải thiện agent dựa trên data thực Được gì: Tự động capture traces, signals mà không viết instrumentation code

Các điểm chính

1. Plano tách “plumbing work” ra khỏi app code Thay vì viết routing, guardrail, logging trong code mỗi agent, giờ khai báo trong config YAML. App code chỉ tập trung vào business logic. → Làm gì: Thử viết 1 config YAML cho 2 agents, xem nó route tự động không

2. Orchestration = khai báo, không code Định nghĩa agent URL + description bằng tiếng thường. Plano dùng 4B-parameter model để tự routing, không cần viết intent classifier. → Làm gì: Khai báo thêm agent mới vào config, restart là chạy

3. Model Agility — đổi model dễ như đổi áo Route theo model name, alias, hoặc để Plano tự chọn dựa trên preference. Đổi provider chỉ sửa config. → Làm gì: Thử switch từ GPT-4o sang Claude, xem có cần sửa code agent không

4. Signals & Observability tự động Mỗi request capture end-to-end bằng OpenTelemetry, không cần viết instrumentation code. Zero-code signals để học từ agent behavior. → Làm gì: Chạy demo xong, mở dashboard xem trace nó ra sao

5. Filter Chains cho guardrail Thêm jailbreak protection, moderation, memory hooks bằng cách chain các filter lại — không sửa agent code. → Làm gì: Thử thêm 1 filter chain đơn giản, xem nó can thiệp request thế nào

6. Nhẹ hơn nhiều so với việc tự build Dùng lightweight LLMs (4B params) cho routing thay vì GPT-4, giảm cost và latency đáng kể. → Làm gì: So sánh chi phí routing tự viết vs dùng Plano

Quick Start

1. Tuần này: Cài Plano, chạy demo travel_agent theo hướng dẫn trong docs — mất ~30 phút
2. Tuần sau: Thử thêm 1 agent mới vào config, xem nó route tự động không