4.3 Conduct A/B testing and iterative improvements

Chạy A/B test đúng cách và cải tiến từng bước có kiểm soát.

  1. Trước A/B phải định nghĩa chỉ số chính, guardrail, cỡ mẫu và luật quyết định — tránh chọn kết quả sau khi xem số.
  2. Cải tiến mỗi lần một biến trên bộ eval cố định để biết thay đổi nào có tác dụng.
  3. Thắng ở offline → rollout theo giai đoạn có giám sát và rollback.