4.3 Conduct A/B testing and iterative improvements
Chạy A/B test đúng cách và cải tiến từng bước có kiểm soát.
- Trước A/B phải định nghĩa chỉ số chính, guardrail, cỡ mẫu và luật quyết định — tránh chọn kết quả sau khi xem số.
- Cải tiến mỗi lần một biến trên bộ eval cố định để biết thay đổi nào có tác dụng.
- Thắng ở offline → rollout theo giai đoạn có giám sát và rollback.