Curse of dimensionality là gì và cách khắc phục?

Curse of dimensionality là tập hợp các hiện tượng khiến việc học trở nên khó khi số chiều (đặc trưng) tăng cao.

Vì sao gây hại:
- Thưa dữ liệu — thể tích không gian tăng theo hàm mũ với số chiều, nên với số mẫu cố định, dữ liệu ngày càng thưa; cần số mẫu tăng theo hàm mũ để phủ đủ.
- Khoảng cách mất ý nghĩa — ở số chiều cao, khoảng cách giữa điểm gần nhất và xa nhất trở nên gần như nhau, làm suy yếu các phương pháp dựa trên khoảng cách (kNN, k-means).
- Dễ overfit — nhiều đặc trưng cho mô hình nhiều cách bám nhiễu hơn.

Cách khắc phục:
- Giảm chiều — PCA (tuyến tính), hoặc t-SNE/UMAP cho trực quan hoá.
- Feature selection để bỏ đặc trưng dư thừa/nhiễu.
- Regularization (L1/L2) kìm độ phức tạp.
- Thu thập thêm dữ liệu và dùng kiến thức miền để chỉ giữ đặc trưng có ý nghĩa.