Phân biệt Bagging và Boosting; Random Forest và bootstrapping liên quan thế nào?

• Bootstrapping: lấy mẫu lại có hoàn lại từ tập train để tạo nhiều tập con cùng kích thước — nền tảng của bagging.
• Bagging (Bootstrap Aggregating): huấn luyện nhiều mô hình song song, độc lập trên các mẫu bootstrap khác nhau, rồi tổng hợp (vote cho phân loại, trung bình cho hồi quy). Chủ yếu giảm phương sai (variance), chống overfit; các mô hình có thể train song song.
• Boosting: huấn luyện các mô hình yếu tuần tự, mỗi mô hình sửa lỗi của mô hình trước (tập trung vào mẫu bị sai). Chủ yếu giảm bias, nhưng dễ nhạy với nhiễu/overfit hơn nếu không điều chỉnh.

Random Forest = bagging trên cây quyết định + ngẫu nhiên hóa đặc trưng. Ngoài lấy mẫu bootstrap cho từng cây, mỗi lần tách nút nó chỉ xét một tập con ngẫu nhiên các đặc trưng. Việc này khử tương quan giữa các cây (tránh vài đặc trưng mạnh chi phối mọi cây), nên trung bình của rừng ổn định hơn bagging cây thuần.