3.3 Evaluate accuracy-latency trade-offs and justify configuration decisions

Cân độ chính xác và độ trễ, chọn cấu hình bằng số đo so với SLA.

  1. Chọn cấu hình (model, effort, thinking) từ đánh đổi đo được so với SLA và chi phí của lỗi — không mặc định "nhanh nhất" hay "mạnh nhất".
  2. Phân biệt hai loại chậm: ra token đầu chậm (giảm bằng prompt caching, streaming cho cảm giác nhanh) vs sinh chậm (fast mode tăng tốc sinh tới ~2,5× với giá cao hơn, không giảm thời gian ra token đầu).
  3. Fast mode chỉ cho Opus (GA trên Opus 5.5), giá gấp đôi ($8/$40 mỗi MTok so với $4/$20), có rate limit riêng; bật/tắt giữa chừng làm mất cache system và messages.