LLM chọn token kế tiếp theo phân bố xác suất có điều kiện trên ngữ cảnh. Sơ đồ dưới mô tả vòng lặp: ngữ cảnh đầu vào → phân bố xác suất → chọn một token → nối vào chuỗi → lặp lại.
Vòng lặp dự đoán token
1. Ngữ cảnh
Học máy
2. Model tính
P(token | ngữ cảnh)
3. Chọn
“là” ~42%
4. Nối & lặp
Câu dài dần →
Next-token playground
Chọn token để “sinh” câu
Ngữ cảnh hiện tại
Học máy
Phân phối P(token | ngữ cảnh) — bấm để chọn