LLM Product Design

Khác biệt LLM product vs traditional

• Non-deterministic — same input có thể ra output khác.
• Hallucination — confident nhưng sai.
• Latency cao — 1–10s không bất thường.
• Cost per call — tính theo token, cộng dồn.
• Capability moving target — model upgrade liên tục.

Capability mapping

Trước khi design feature, list rõ LLM làm tốt gì, dở gì:

Design pattern

• Single-shot — 1 prompt → 1 output. Simple.
• Chain-of-thought — reasoning step explicit.
• Tool use / function calling — LLM gọi API external.
• Agent loop — LLM iterate cho tới achieve goal.
• RAG — Retrieval-Augmented Generation, ground vào doc.

UX considerations

• Streaming — show token theo thời gian, giảm perceived latency.
• Show your work — cite source, show reasoning step.
• Confidence signaling — "Mô hình không chắc, vui lòng verify".
• Recovery affordance — regenerate, edit, undo.
• Guardrail visible — block content harmful, show why.

Common pitfalls

• LLM-everything — dùng LLM cho task simple regex.
• Không có eval suite — không biết model upgrade có improve hay không.
• Bỏ qua cost monitoring — bill 10x sau spike.
• Trust LLM output mà không verification cho high-stakes (medical, legal, financial).

Vietnam context

VinAI PhoGPT, Zalo Bot, Trợ lý ảo MoMo — VN LLM stack đang nổi. PM cần đánh giá VN-specific model vs OpenAI/Anthropic về Vietnamese fluency, cost, data residency.