AI hay gặpKhông — thường tệ đi. Tăng top-k làm tăng recall của bước truy xuất nhưng đồng thời nhồi thêm chunk nhiễu, và model không đọc đều toàn bộ context.
Hiện tượng lost in the middle: độ chính xác cao nhất khi thông tin cần thiết nằm ở đầu hoặc cuối context, và giảm rõ khi nó nằm giữa. Với context dài, đẩy đoạn quan trọng vào giữa đống chunk vô nghĩa là cách chắc chắn để model bỏ sót.
Cách làm thực tế:
- Lấy rộng, đưa hẹp: truy xuất top-50, rerank, chỉ đưa 3-5 chunk vào prompt.
- Ngưỡng điểm sau rerank: chunk dưới ngưỡng thì loại, kể cả khi còn slot. Nếu không còn chunk nào qua ngưỡng, trả lời "không tìm thấy trong tài liệu" thay vì ép trả lời.
- Xếp chunk điểm cao ở hai đầu context, chunk yếu hơn ở giữa.
- Đánh số nguồn cho mỗi chunk và yêu cầu model trích dẫn — vừa giúp kiểm chứng, vừa buộc model bám vào context.
Đo bằng cách quét k = 3, 5, 10, 20 trên bộ eval và nhìn answer accuracy, không nhìn recall@k. Recall@k luôn tăng theo k, còn chất lượng câu trả lời thường đạt đỉnh rồi đi xuống.