Tối ưu chi phí & độ trễ

Mục tiêu: Thiết kế prompt caching đúng; Biết khi nào dùng Batches; Điều chỉnh effort.

Prompt caching

Cache khớp tiền tố từng byte theo thứ tự tools → system → messages. Đặt cache_control ở ranh giới của phần ổn định; phần thay đổi đặt sau. - TTL 5 phút (mặc định) hoặc 1 giờ. - Ghi: 1,25× (5 phút) / 2× (1 giờ); đọc ≈ 0,1× giá input. - Tối đa 4 breakpoint. Kiểm chứng bằng usage.cache_read_input_tokens.

Message Batches

Giảm 50% chi phí cho tác vụ không cần thời gian thực: ≤ 100.000 request/256 MB mỗi batch, phần lớn xong < 1 giờ (tối đa 24 giờ), kết quả lưu 29 ngày, ghép theo custom_id.

Effort và thinking

Model hiện đại dùng adaptive thinking; output_config.effort (low → max) là đòn bẩy chính cho chất lượng/chi phí. Đo chi phí trên mỗi tác vụ hoàn thành, không phải mỗi request.