Bias-Variance tradeoff là gì?

Test error kỳ vọng của một mô hình phân rã thành ba phần: Bias², Variance và irreducible error (nhiễu σ² không thể loại bỏ):

E[(y − f̂(x))²] = Bias(f̂(x))² + Var(f̂(x)) + σ²

• Bias — sai số do giả định của mô hình quá đơn giản so với quan hệ thật. Bias cao → underfit (ví dụ hồi quy tuyến tính cho dữ liệu phi tuyến).
• Variance — mức độ mô hình thay đổi khi đổi tập huấn luyện. Variance cao → overfit (mô hình bám cả nhiễu; ví dụ cây quyết định rất sâu).

Đánh đổi: khi tăng độ linh hoạt (flexibility) của mô hình, bias giảm nhưng variance tăng. Test error tổng thường có dạng chữ U — cần chọn độ phức tạp cân bằng hai đại lượng này. Irreducible error đặt ra giới hạn dưới không mô hình nào vượt qua được.