4.5 Design efficient batch processing strategies

Dùng Message Batches API cho đúng loại việc và xử lý lỗi batch hiệu quả.

1. Batches: rẻ hơn 50%, xử lý tối đa 24 giờ, không bảo đảm độ trễ. Hợp việc chờ được (báo cáo đêm, audit tuần); không hợp việc chặn luồng (kiểm tra trước khi merge).
2. Một request trong batch không chạy được vòng tool nhiều lượt với tool phía client (không thể chạy tool của bạn giữa chừng rồi gửi kết quả lại).
3. custom_id ghép request với kết quả → khi lỗi, chỉ gửi lại phần lỗi (vd. chia nhỏ tài liệu vượt context). Thử prompt trên mẫu nhỏ trước khi chạy cả khối.
4. Tính tần suất gửi theo SLA: cửa sổ gửi + 24 giờ ≤ SLA. Ví dụ guide: SLA 30 giờ → gửi mỗi 4 giờ (còn dư).