4.2 Design evaluation datasets and test frameworks using mixed methodologies

Xây bộ eval và chọn cách chấm phù hợp từng loại tiêu chí.

1. Bắt đầu sớm với ~20 truy vấn thật — đủ thấy thay đổi lớn; mở rộng dần, gồm cả ca biên.
2. Kết hợp phương pháp: code chấm phần kiểm được chính xác; LLM-judge chấm phần tinh tế theo rubric; người hiệu chỉnh judge.
3. Eval agent: pass@k = ít nhất 1 lần đúng trong k lần thử; pass^k = cả k lần đều đúng (75% mỗi lần → 3 lần ≈ 42%). Agent phục vụ khách hàng cần pass^k. Chấm kết quả cuối (trạng thái thật), không ép đúng từng bước.