AI hay gặpData flywheel là vòng lặp biến tương tác thực của người dùng thành tín hiệu để liên tục cải thiện hệ thống — lợi thế lớn nhất của việc đã có sản phẩm chạy production.
Vòng lặp:
1. Ghi trace đầy đủ — mỗi request lưu input, context retrieve, prompt, output, tool call, chi phí, độ trễ (observability như LangSmith/Langfuse/Helicone).
2. Thu feedback:
- Tường minh — thumbs up/down, sao, nút "báo sai", ô sửa lại.
- Ngầm — người dùng copy đáp án, bấm retry, bỏ dở, hỏi lại, hay escalate cho người.
3. Phân tích & gắn nhãn — dồn response tệ vào annotation queue cho người review theo rubric; nhóm lỗi theo dạng.
4. Đưa ngược vào cải tiến — response tốt → làm few-shot / dữ liệu fine-tune; response tệ → thêm vào golden eval set làm test case tương lai, chỉnh prompt/retrieval/model.
5. Đo lại & lặp — re-run eval, A/B test, deploy, thu tiếp feedback.
Điểm mấu chốt: gắn feedback vào đúng run_id/trace để truy được nguyên nhân; ẩn danh/che PII trước khi lưu; và biến mỗi lỗi thật thành một test case — đó là thứ làm hệ thống tốt lên theo thời gian thay vì đứng yên.