3.5 Design a RAG pipeline with appropriate chunking and indexing strategies

Thiết kế pipeline RAG: có cần RAG không, chia chunk thế nào, đánh chỉ mục ra sao.

1. Kho kiến thức dưới ~200k token → có thể đưa thẳng vào prompt kèm prompt caching, khỏi cần RAG.
2. Chunk phải hiểu được khi đứng một mình: chia theo cấu trúc tài liệu và thêm ngữ cảnh (nguồn, mục). Contextual Retrieval (contextual embeddings + contextual BM25) giảm 49% lần truy xuất hỏng, 67% khi thêm rerank.
3. Chiến lược index: kích thước, ranh giới và độ chồng lấn chunk ảnh hưởng trực tiếp tới retrieval. Làm mới tài liệu là thao tác rủi ro — re-index hỏng hoặc embedding không khớp (truy vấn và chỉ mục khác model embedding) khiến retrieval trả chunk sai/cũ. Kiểm recall trên bộ eval trước khi chuyển sang index mới.
4. RAG trả lời sai → đo recall của retrieval trước rồi mới chỉnh phần sinh câu trả lời.