4.4 Diagnose system issues (prompt failure, hallucinations, model mismatch)

Chẩn đoán gốc lỗi: retrieval, prompt hay model — theo đúng thứ tự bằng chứng.

1. Sai "tự tin" ngay sau khi làm mới tài liệu, model và độ trễ không đổi → nghi retrieval/indexing trước (re-index hỏng, embedding không khớp).
2. Lỗi "im lặng" (câu trả lời trống, bị cắt) → xem phân bố stop_reason: max_tokens, refusal, model_context_window_exceeded.
3. Bịa thông tin ngoài phạm vi → cho phép trả lời "không biết" và yêu cầu trích dẫn nguyên văn từ nguồn.
4. Chọn sai model: chỉ hỏng ở ca khó sau khi hạ model hoặc chuyển model → xác nhận bằng eval theo phân khúc, rồi chuyển ca khó lên model mạnh hơn hoặc tăng effort. Sau khi đổi model, chạy lại effort sweep — mức mặc định khác nhau (Opus 5.5 mặc định medium, Opus 5 mặc định high).