5.1 Manage conversation context to preserve critical information across long interactions

Giữ thông tin quan trọng không bị mất khi hội thoại dài, tóm tắt, hoặc kết quả tool phình to.

  1. Tóm tắt dần làm mất số liệu, ngày, cam kết của khách. Trích chúng vào khối "case facts" riêng, gửi kèm mỗi prompt, nằm ngoài phần lịch sử được tóm tắt.
  2. Lost in the middle: model xử lý tốt đầu và cuối input dài, dễ bỏ sót phần giữa → đặt tóm tắt phát hiện chính ở đầu, chia phần có tiêu đề rõ.
  3. Kết quả tool tích tụ rất tốn token (40+ trường mỗi lần tra đơn khi chỉ cần 5) → cắt bớt chỉ giữ trường liên quan trước khi đưa vào context.
  4. Gửi đầy đủ lịch sử hội thoại ở mỗi request để giữ mạch. Agent phía trước nên trả dữ liệu có cấu trúc (facts, trích dẫn, ngày) thay vì văn dài khi agent phía sau có ít context.