Machine Learning & DSNaive Bayes là bộ phân loại xác suất dựa trên định lý Bayes: nó chọn lớp y có xác suất hậu nghiệm cao nhất, P(y | x) ∝ P(y) · Π P(xⱼ | y).
Giả định "naive" chính là độc lập có điều kiện: các đặc trưng độc lập với nhau khi đã biết lớp. Nhờ giả định này, xác suất đồng thời P(x₁,…,xₚ | y) tách được thành tích các xác suất từng đặc trưng Π P(xⱼ | y) — dễ ước lượng và tính rất nhanh, thay vì phải mô hình hóa mọi tương tác giữa các đặc trưng.
Trong thực tế đặc trưng hiếm khi độc lập thật, nhưng mô hình vẫn hoạt động tốt đáng ngạc nhiên (nhất là phân loại văn bản / lọc spam), huấn luyện nhanh và cần ít dữ liệu.
Các biến thể theo phân phối của đặc trưng: Gaussian NB (đặc trưng liên tục), Multinomial NB (đếm tần suất, phổ biến cho text), Bernoulli NB (đặc trưng nhị phân). Thường dùng Laplace smoothing để tránh xác suất bằng 0 với giá trị chưa từng gặp.