5.5 Design human review workflows and confidence calibration

Thiết kế người duyệt và hiệu chỉnh độ tin cậy để giảm duyệt tay mà không bỏ sót lỗi theo nhóm.

1. Độ chính xác tổng (97%) có thể che một loại tài liệu hoặc trường rất kém → đo theo loại tài liệu và theo trường trước khi giảm duyệt tay.
2. Lấy mẫu ngẫu nhiên phân tầng cả các trích xuất độ tin cậy cao để đo tỉ lệ lỗi liên tục và phát hiện kiểu lỗi mới.
3. Model xuất độ tin cậy theo từng trường, ngưỡng được hiệu chỉnh trên tập có nhãn. Độ tin cậy thấp hoặc nguồn mâu thuẫn → chuyển người duyệt, ưu tiên năng lực duyệt có hạn.