5.4 Cost and Token Management (2.8%)

Quản lý ngân sách token: prompt caching đúng cách, Batches, đếm token trước và theo dõi chi tiêu.

1. Prompt caching: phần cố định đặt trước, đặt cache_control ở cuối phần cố định, phần thay đổi (câu hỏi, thời gian, ID) đặt sau breakpoint.
2. Chi phí cache: ghi 1,25× giá input (TTL 5 phút) hoặc 2× (TTL 1 giờ); đọc 0,1× (0,05× trên Opus 5.5/Sonnet 5.5, 0,025× trên Fable 5.1); mỗi lần trúng làm mới TTL miễn phí. Giảm giá Batch cộng dồn.
3. Quy tắc cache: tiền tố tối thiểu 512 token trên model hiện tại — ngắn hơn thì không cache, không báo lỗi; tối đa 4 breakpoint, mỗi breakpoint dò lùi 20 block; cache_control ở cấp request = automatic caching. Đổi cấu hình thinking hoặc effort làm mất cache phần messages.
4. Trên đa số model, cache_read_input_tokens không tính vào ITPM — cache vừa giảm chi phí vừa tăng throughput.
5. Cần số token trước khi gửi → count_tokens với đúng payload (kể cả tool và ảnh) và đúng model — tokenizer có thể khác giữa các model.
6. Báo cáo chi tiêu theo model/workspace và cảnh báo → Usage and Cost API.