Machine Learning & DSA/B test là thí nghiệm có kiểm soát: chia người dùng ngẫu nhiên vào nhóm control (A) và treatment (B), chỉ đổi một yếu tố, rồi so sánh một metric mục tiêu (OEC — Overall Evaluation Criterion).
Thiết kế:
- Xác định giả thuyết và primary metric trước.
- Tính cỡ mẫu cần thiết từ tỷ lệ nền (baseline), hiệu ứng tối thiểu đáng phát hiện (MDE), α và power (thường power 80%, α 5%). Test thiếu power dễ bỏ sót hiệu ứng thật.
- Randomize đúng đơn vị (theo người dùng, không theo lượt xem) để tránh nhiễm chéo.
- Chạy đủ chu kỳ (≥ 1 tuần) để phủ tính mùa vụ theo ngày trong tuần.
Đọc kết quả: xét cả ý nghĩa thống kê (p-value / khoảng tin cậy) lẫn ý nghĩa thực tiễn (effect size). Các bẫy cần tránh:
- Peeking / dừng sớm khi thấy đẹp → thổi phồng dương tính giả. Dùng chân trời cố định hoặc kiểm định tuần tự.
- So sánh nhiều metric cùng lúc → cần hiệu chỉnh.
- Sample Ratio Mismatch (SRM) — tỷ lệ phân bổ lệch so với thiết kế là dấu hiệu thí nghiệm hỏng, kết quả không tin được.
- Hiệu ứng novelty / primacy — thay đổi hành vi tạm thời lúc đầu.
- Theo dõi guardrail metrics để bắt tác hại ngoài ý muốn.