So sánh phương pháp value-based và policy-based trong RL.

Value-based — học hàm giá trị (Q hoặc V), rồi suy ra policy bằng cách chọn hành động có giá trị cao nhất (greedy trên Q). Ví dụ: Q-Learning, SARSA, DQN.
- Ưu: hiệu quả mẫu tốt, dễ tái sử dụng dữ liệu (off-policy).
- Nhược: khó với hành động liên tục (phải argmax trên A); policy suy ra là gián tiếp, thường tất định.

Policy-based — tham số hoá trực tiếp policy π_θ(a|s) và tối ưu tham số θ theo gradient của kỳ vọng phần thưởng (policy gradient, REINFORCE).
- Ưu: xử lý được hành động liên tục, học được policy ngẫu nhiên (stochastic), hội tụ mượt hơn.
- Nhược: phương sai gradient cao, kém hiệu quả mẫu, dễ kẹt cực trị cục bộ.

Actor-Critic kết hợp cả hai: "actor" (policy-based) chọn hành động, "critic" (value-based) đánh giá — giảm phương sai và tăng ổn định (A2C, PPO...).