Machine Learning & DSKhác biệt ở việc mô hình có giả định trước một dạng hàm cố định (với số tham số hữu hạn, không đổi theo lượng dữ liệu) hay không.
Parametric — giả định một dạng hàm, học một số tham số cố định. Ví dụ: hồi quy tuyến tính/logistic, Naive Bayes, mạng nơ-ron kích thước cố định.
- Ưu: cần ít dữ liệu hơn, huấn luyện/suy diễn nhanh, dễ diễn giải.
- Nhược: nếu dạng hàm giả định sai → bias cao (underfit); kém linh hoạt.
Non-parametric — không cố định dạng hàm; độ phức tạp tăng theo dữ liệu. Ví dụ: KNN, cây quyết định, Random Forest, SVM nhân RBF.
- Ưu: linh hoạt, khớp được quan hệ phi tuyến phức tạp mà không cần giả định trước.
- Nhược: cần nhiều dữ liệu, dễ overfit, tốn tính toán/bộ nhớ, khó diễn giải hơn.
Lưu ý: "non-parametric" không có nghĩa là không có tham số — nghĩa là số tham số không cố định trước mà lớn dần theo dữ liệu (vd KNN "nhớ" toàn bộ tập huấn luyện). Đánh đổi: đây là một biểu hiện của bias–variance — parametric thiên về bias, non-parametric thiên về variance.