Vì sao khởi tạo trọng số quan trọng; Xavier/Glorot khác He initialization thế nào?

Khởi tạo tồi làm hỏng huấn luyện:

• Toàn số 0 → mọi nơ-ron giống hệt nhau, đối xứng không bao giờ bị phá vỡ.
• Quá lớn → activation/gradient phồng lên.
• Quá nhỏ → activation/gradient teo lại.

Khởi tạo tốt giữ phương sai của activation và gradient gần như không đổi qua các lớp.

• Xavier/Glorot: đặt phương sai trọng số theo cả fan-in và fan-out (Var = 2/(n_in + n_out)). Suy ra với giả định activation tuyến tính/đối xứng → thiết kế cho sigmoid/tanh.
• He initialization: phương sai 2/n_in. Tính đến việc ReLU đưa khoảng một nửa đầu vào về 0 (làm giảm nửa phương sai), nên dùng thang lớn hơn → lựa chọn đúng cho mạng ReLU và biến thể.

Quy tắc: tanh/sigmoid → Xavier; họ ReLU → He.