2.4 Optimize context windows and manage token usage

Giữ context đủ mà gọn, và tính đúng ngân sách token.

  1. Token thinking tính vào max_tokens — đặt ngân sách đủ cho cả suy luận lẫn câu trả lời.
  2. Cần biết trước số token (định tuyến, kiểm soát chi phí) → dùng token counting endpoint.
  3. Context dài làm chất lượng giảm dần (context rot): ưu tiên tập nhỏ token có tín hiệu cao; với agent chạy lâu dùng xóa tool result cũ hoặc compaction.