Phân biệt epoch, batch và iteration; learning rate và scheduling là gì?

• Epoch: một lượt đi qua toàn bộ tập huấn luyện.
• Batch (mini-batch): nhóm mẫu được xử lý trước một lần cập nhật trọng số; batch_size quyết định độ lớn.
• Iteration: một lần cập nhật trọng số = xử lý xong một batch. số iteration mỗi epoch = ceil(N / batch_size).

Ví dụ: 10.000 mẫu, batch 100 → 100 iteration = 1 epoch.

• Learning rate (LR): độ lớn mỗi bước cập nhật — siêu tham số quan trọng nhất. Quá cao → phân kỳ/dao động; quá thấp → chậm, dễ kẹt ở cực tiểu kém.
• LR scheduling: thay đổi LR theo tiến trình — khởi đầu lớn để đi nhanh, giảm dần về sau để ổn định. Các kiểu phổ biến: step decay, exponential decay, cosine annealing, warmup (tăng dần lúc đầu), reduce-on-plateau. Cải thiện hội tụ và chất lượng cuối.