LLMOps khác MLOps truyền thống thế nào?

MLOps quản lý lifecycle ML classic (train → deploy → monitor) với mô hình in-house, feature pipeline, model registry. LLMOps kế thừa nhưng phải giải quyết 5 đặc thù của LLM:

1. Model ownership: LLM thường là API bên thứ 3 (OpenAI, Anthropic) → quan tâm rate limit, latency p99, version deprecation, data privacy; nếu self-host cần GPU serving (vLLM, TGI).

2. Prompt là artifact chính: cần prompt versioning, A/B test, rollback — tools: PromptLayer, Langfuse, Braintrust.

3. Evaluation khó hơn: output text tự do, không có accuracy đơn giản → kết hợp automated metric (BLEU/BERTScore) + LLM-as-judge + human eval + golden dataset regression suite.

4. Chi phí theo token + non-determinism: pricing per input/output token; temperature>0 → cùng prompt ra kết quả khác → test phải multi-seed + statistical. Cần cost observability ($/request, $/user).

5. Observability + Safety mới: trace toàn chain (agent steps, RAG, tool calls) — LangSmith/Langfuse/Arize Phoenix; thêm guardrails (PII redact, prompt injection, content filter) không có trong MLOps classic.