Overfitting là gì và làm sao để tránh?

Overfitting là khi mô hình học thuộc cả nhiễu và chi tiết riêng của tập huấn luyện thay vì quy luật tổng quát — kết quả là điểm số trên tập train rất cao nhưng kém trên dữ liệu mới. Dấu hiệu nhận biết: khoảng cách lớn giữa train error và validation/test error. (Ngược lại, underfit là kém cả trên train lẫn test.)

Cách hạn chế:
- Cross-validation để ước lượng khả năng tổng quát hoá trung thực khi chọn mô hình/siêu tham số.
- Regularization (L1/L2) để phạt độ phức tạp.
- Đơn giản hoá mô hình — giảm số tham số, giảm độ sâu cây, giảm bậc đa thức.
- Thêm dữ liệu hoặc data augmentation.
- Early stopping — dừng khi validation error bắt đầu tăng.
- Feature selection để bỏ đặc trưng nhiễu; với mạng nơ-ron còn có dropout.