4.5 Optimize token usage, latency, and cost-performance trade-offs

Tối ưu token, độ trễ và chi phí mà không làm giảm chất lượng.

  1. Token đầu ra đắt hơn token đầu vào — cắt phần đầu ra không cần (giải thích thừa, định dạng dài) trước.
  2. Lịch sử agent dài dần → cache tiền tố + xóa/compact context cũ; việc không gấp → Batch (rẻ 50%).
  3. Kiểm soát lưu trú dữ liệu có giá: inference_geo: "us" tính 1,1× trên model đời 4.6 trở đi — chỉ bật khi có yêu cầu thật.