AI hay gặpBốn thiên lệch đã được đo và ghi nhận:
- Position bias: khi so hai câu trả lời A/B, judge thiên về câu đứng trước (hoặc đứng sau, tùy model). Hiệu chỉnh: chấm hai lần với thứ tự đảo, chỉ tính thắng khi cả hai lần đồng thuận; bất đồng thì tính hòa.
- Verbosity bias: câu dài, nhiều gạch đầu dòng được chấm cao hơn dù không chính xác hơn. Hiệu chỉnh: đưa độ dài vào rubric như một tiêu chí ngược hoặc chuẩn hóa độ dài giữa các ứng viên.
- Self-preference: model có xu hướng ưu ái output do chính họ model sinh ra. Hiệu chỉnh: dùng judge khác họ với model đang được chấm.
- Định dạng và giọng điệu: câu tự tin, trình bày đẹp được cho điểm cao hơn.
Cách làm cho số liệu dùng được:
1. Chấm nhị phân hoặc rubric rời rạc (pass/fail theo từng tiêu chí) thay vì thang 1-10. Thang liên tục làm judge dồn điểm vào 7-8 và không phân biệt được.
2. Yêu cầu lý do trước, điểm sau — đặt điểm ở cuối output.
3. Đo độ đồng thuận với người: tự tay gán nhãn 50-100 mẫu, tính Cohen's kappa giữa judge và người. Kappa thấp thì rubric sai, không phải model sai.
4. Neo bằng few-shot: cho vài ví dụ đã chấm ở mỗi mức.
5. temperature = 0 và khóa phiên bản prompt judge; đổi prompt là đổi thước đo, số cũ không so được với số mới.
Giới hạn cần nói thẳng: LLM-as-judge tốt cho so sánh tương đối giữa hai phiên bản, kém tin cậy khi dùng làm điểm tuyệt đối báo cáo cho stakeholder.