Một A/B test cho thấy tỷ lệ chuyển đổi tăng nhưng một chỉ số khác (vd retention hoặc tỷ lệ hoàn đơn) xấu đi. Là PM, bạn quyết định có ra mắt không thế nào?

Không có câu trả lời "ship" hay "không ship" mặc định. Tôi đi qua bốn bước trước khi quyết định.

1. Kiểm tra kết quả có đáng tin không. Đủ cỡ mẫu và chạy đủ ít nhất một chu kỳ tuần chưa, có dừng test sớm khi vừa thấy số đẹp không, tỷ lệ chia nhóm có đúng như cấu hình không. Nhiều mâu thuẫn biến mất khi phát hiện test chạy chưa đủ.

2. Xếp hạng các metric theo vai trò đã định từ trước. Primary metric là thứ test muốn cải thiện; guardrail metric là thứ không được xấu đi dù primary tăng. Nếu chỉ số xấu đi là guardrail đã khai báo từ đầu, mặc định là không ship cho tới khi hiểu nguyên nhân.

3. Quy về cùng một đơn vị giá trị. Conversion tăng 3% nhưng tỷ lệ hoàn đơn tăng 1% — tính ra lợi nhuận ròng, hoặc giá trị vòng đời (LTV) của người dùng. Một thay đổi làm đơn tăng nhưng người dùng thất vọng rồi không quay lại thường lỗ về dài hạn.

4. Tìm nguyên nhân và phương án ở giữa. Tách theo segment: có thể chỉ nhóm người dùng mới bị ảnh hưởng. Khi đó ra mắt cho nhóm hưởng lợi, hoặc sửa thiết kế rồi test lại.

Ví dụ: nút "Mua ngay 1 chạm" tăng chuyển đổi nhưng tăng tỷ lệ huỷ đơn — người dùng bấm nhầm. Giải pháp không phải bỏ tính năng mà thêm bước xác nhận nhẹ, rồi chạy lại test.

Lưu ý: khi trả lời phỏng vấn, điểm nằm ở chỗ bạn hỏi lại "công ty đang tối ưu cho mục tiêu gì trong giai đoạn này", chứ không nằm ở kết luận cuối cùng.