LLM (Large Language Model) là gì và hoạt động như thế nào?

LLM là mô hình ngôn ngữ dựa trên kiến trúc Transformer, được pre-train trên lượng lớn text corpus (hàng trăm tỷ đến hàng nghìn tỷ token). Cốt lõi của LLM là dự đoán token tiếp theo (next-token prediction) dựa trên chuỗi token đầu vào — về bản chất là một hàm xác suất P(token_t | token_0..t-1).

Quy trình: input text được tokenize thành các ID số → đi qua embedding layer để biến thành vector → chồng nhiều lớp Transformer block (self-attention + feed-forward) để học ngữ cảnh → lớp cuối sinh logits trên toàn bộ vocabulary → sampling (greedy / top-k / top-p / temperature) chọn token tiếp theo → lặp lại (autoregressive) cho đến khi gặp token kết thúc.

Khả năng emergent (reasoning, code, dịch, tool use) xuất hiện khi tăng quy mô dữ liệu + tham số. Fine-tune bằng SFT và căn chỉnh RLHF/DPO để mô hình tuân theo chỉ dẫn và an toàn hơn.