Trong ensemble learning, voting và stacking khác nhau thế nào?

Cả hai đều kết hợp nhiều mô hình cơ sở (base models) để dự đoán tốt hơn từng mô hình riêng, nhưng khác ở cách tổng hợp:

• Voting: gộp dự đoán bằng một quy tắc cố định, không học.
• Hard voting: lấy nhãn theo đa số phiếu.
• Soft voting: trung bình xác suất dự đoán rồi chọn lớp cao nhất (thường tốt hơn nếu các mô hình cho xác suất hiệu chỉnh tốt).
• Đơn giản, nhanh, ít rủi ro overfit.
• Stacking (stacked generalization): dùng một meta-model để học cách kết hợp đầu ra của các mô hình cơ sở. Các base model dự đoán trước; những dự đoán đó trở thành đặc trưng đầu vào cho meta-model. Để tránh rò rỉ dữ liệu, dự đoán của base model dùng huấn luyện meta thường được tạo bằng cross-validation out-of-fold.

Stacking mạnh hơn voting khi các mô hình cơ sở đa dạng và bổ khuyết lẫn nhau, nhưng phức tạp hơn và dễ overfit hơn nếu không cẩn thận.