Khi nào dùng PR-AUC thay cho ROC-AUC? Vì sao ROC-AUC có thể "đẹp" trên dữ liệu rất mất cân bằng?

Khác biệt nằm ở mẫu số của trục hoành.

• ROC vẽ TPR theo FPR, mà FPR = FP / (FP + TN). Khi lớp âm cực đông, TN rất lớn nên FPR gần như không nhúc nhích dù FP tăng hàng nghìn. Đường ROC vẫn dựng đứng và AUC vẫn cao, trong khi thực tế đội vận hành phải xử lý rất nhiều cảnh báo sai.
• Precision-Recall vẽ precision theo recall, mà precision = TP / (TP + FP) — không có TN trong công thức. Mỗi false positive đều làm precision giảm ngay, nên PR phản ánh đúng trải nghiệm thực tế của bài toán hiếm.

Chọn thế nào:
- Lớp dương hiếm và bạn quan tâm chất lượng của những ca được gắn cờ (gian lận, phát hiện bệnh, spam) → PR-AUC / average precision.
- Hai lớp cân bằng, hoặc cần so sánh khả năng phân tách chung không phụ thuộc tỷ lệ lớp → ROC-AUC.

Lưu ý khi báo cáo PR-AUC: đường cơ sở của ROC luôn là 0.5, nhưng đường cơ sở của PR chính là tỷ lệ lớp dương. Với dữ liệu 0.5% dương thì PR-AUC 0.30 đã là cải thiện lớn — phải nói kèm tỷ lệ nền, nếu không người đọc tưởng mô hình kém.

Dùng average_precision_score thay vì tính diện tích bằng nội suy hình thang trên đường PR (nội suy trên đường PR không chính xác).