Sếp hỏi "AI feature này ROI thế nào?" — trả lời và đo như nào?

Câu hỏi phổ biến nhất từ lãnh đạo. Trả lời tệ = feature bị cắt, team mất uy tín. Cần khung đo có hệ thống.

Cấu trúc câu trả lời cho stakeholder:

Công thức: ROI = (Benefit - Cost) / Cost × 100%

A. Cost (dễ đo):
1. Variable — LLM API cost, embedding, vector DB, inference GPU.
2. Fixed — engineering effort (FTE × months), infra setup, eval/red team, compliance review.
3. Ongoing — monitoring, prompt maintenance, model upgrade, support.

B. Benefit (khó đo, cần khung rõ):

1. Revenue increase
- Conversion rate tăng (AI chat → sale).
- Average order value tăng (personalization, recommendation).
- Retention/CLV cao hơn.
- New market/segment unlocked (multilingual support).

2. Cost reduction
- Deflection rate — % ticket tự xử lý không cần human (customer support AI).
- Time saved per task × # tasks × fully-loaded cost per hour.
- Reduced headcount / avoided headcount growth.
- Reduced infrastructure (AI-powered caching, search hiệu quả hơn).

3. Productivity
- Code assistant: lines/day, review cycle time.
- Doc summarization: time save per doc × volume.
- Meeting notes, email drafting.

4. Quality / risk reduction
- Fewer errors (fraud detection, content moderation).
- Compliance (PII redaction).
- Faster incident response.

5. Strategic / indirect (khó định lượng nhưng thực)
- Competitive parity (không có = thua).
- Brand / talent attraction.
- Learning curve cho org.

Ví dụ concrete cho customer support AI:

Benefit:
- 10K ticket/month, AI deflect 40% = 4,000 ticket saved.
- Human cost $15/ticket → $60k/month saved.
- CSAT tăng 3 điểm (faster resolution) → retention +1% → $X ARR protected.
- Tổng benefit: $60k + $X /month.

Cost:
- API cost: 10K ticket × 5 turn × 3K token × $0.00015/1K = $22.5/month
  (hoặc scale up → ước tính thực 10K-30K/month với RAG và reranker).
- Vector DB, infra: $2k/month.
- Eval + monitoring: $1k/month.
- Build: 2 FTE × 3 months × $15k = $90k (one-time).
- Ongoing: 0.5 FTE maintenance = $7.5k/month.

ROI Year 1:
- Benefit: $60k × 12 = $720k
- Cost: $90k + ($30k × 12) = $450k
- ROI: (720 - 450) / 450 = 60%
- Payback: tháng 7-8

Metrics bắt buộc track:

Leading indicators (daily/weekly):
- Containment / deflection rate.
- Resolution rate.
- Cost/conversation.
- User satisfaction (thumbs up/down, CSAT, NPS).
- Latency p50/p95/p99.

Lagging indicators (monthly):
- Revenue per user delta vs control.
- Retention/churn vs control.
- Support ticket volume shift.
- Net promoter score.

Measurement rigor:

1. A/B test — có control group không dùng AI để có counterfactual đúng. Random assignment, đo significant statistically.
2. Cohort analysis — user bắt đầu dùng feature AI → track behavior trước/sau.
3. Attribution model — AI feature đóng góp % vào outcome (challenging khi nhiều factor).
4. Holdout — giữ 5-10% user không có feature để benchmark dài hạn.

Trả lời tồi cần tránh:
- "AI is the future" / generic hype — không data.
- "Improves efficiency by 30%" — không nguồn, cherry-picked.
- So sánh với demo thay vì production metric.
- Ignore cost (chỉ nói benefit).
- Không có timeline / payback period.

Template pitch đúng:
> "Feature X dùng RAG answer customer Q&A. Dựa trên pilot 4 tuần với 1K user: 35% ticket deflect, CSAT không đổi, cost/conversation $0.08. Extrapolate to full 50K user: $25k/month save, $15k/month cost → net $10k/month + improved response time. ROI ~67% Year 1, payback tháng 6. Risk: hallucination rate 2% (đã đo qua RAGAS), mitigation qua citation + faithfulness check. Proposed rollout: 20% traffic canary → 100% sau 2 tuần nếu metrics hold."

Kỹ năng mềm: dùng ngôn ngữ business, tránh jargon LLM; đóng gói câu chuyện dạng problem → solution → metric → risk → ask.