2.4 Optimize context windows and manage token usage
Giữ context đủ mà gọn, và tính đúng ngân sách token.
- Token thinking tính vào max_tokens — đặt ngân sách đủ cho cả suy luận lẫn câu trả lời.
- Cần biết trước số token (định tuyến, kiểm soát chi phí) → dùng token counting endpoint.
- Context dài làm chất lượng giảm dần (context rot): ưu tiên tập nhỏ token có tín hiệu cao; với agent chạy lâu dùng xóa tool result cũ hoặc compaction.