3.3 Evaluate accuracy-latency trade-offs and justify configuration decisions
Cân độ chính xác và độ trễ, chọn cấu hình bằng số đo so với SLA.
- Chọn cấu hình (model, effort, thinking) từ đánh đổi đo được so với SLA và chi phí của lỗi — không mặc định "nhanh nhất" hay "mạnh nhất".
- Phân biệt hai loại chậm: ra token đầu chậm (giảm bằng prompt caching, streaming cho cảm giác nhanh) vs sinh chậm (fast mode tăng tốc sinh tới ~2,5× với giá cao hơn, không giảm thời gian ra token đầu).
- Fast mode chỉ cho Opus (GA trên Opus 5.5), giá gấp đôi ($8/$40 mỗi MTok so với $4/$20), có rate limit riêng; bật/tắt giữa chừng làm mất cache system và messages.