Machine Learning & DSActivation đưa phi tuyến vào mạng — thiếu nó, nhiều lớp tuyến tính chồng lên nhau vẫn chỉ tương đương một phép tuyến tính.
- Sigmoid
1/(1+e^(-x)): đầu ra(0, 1). Dùng cho xác suất nhị phân ở lớp ra. Nhược điểm ở lớp ẩn: bão hòa → vanishing gradient, đầu ra không quanh 0. - Tanh
(e^x − e^(-x))/(e^x + e^(-x)): đầu ra(−1, 1), đối xứng quanh 0 (tốt hơn sigmoid cho lớp ẩn) nhưng vẫn bão hòa. - ReLU
max(0, x): mặc định cho lớp ẩn — rẻ, không bão hòa ở phần dương → giảm vanishing gradient, activation thưa. Rủi ro: "dying ReLU" (kẹt ở 0); các biến thể Leaky/ELU/GELU khắc phục. - Softmax: chuẩn hóa một vector thành phân phối xác suất tổng bằng 1; dùng ở lớp ra cho phân loại đa lớp.
Quy tắc nhanh: ReLU (hoặc biến thể) cho lớp ẩn; sigmoid cho đầu ra nhị phân; softmax cho đầu ra đa lớp.