4.6 Monitor system performance using logging and observability tools

Giám sát sau triển khai: theo phân khúc, chấm chất lượng online, cảnh báo đúng lỗi.

1. Chia chỉ số theo khách hàng, use case, phiên bản — chỉ số tổng che hồi quy cục bộ.
2. Chất lượng online → lấy mẫu lưu lượng và chấm bằng LLM-judge đã hiệu chỉnh với người.
3. Lỗi 429 không có header retry-after thường là chạm hạn mức chi tiêu → cảnh báo cho người, đừng retry liên tục.