token-prediction

LLM이 텍스트를 생성할 때 이전 문맥을 바탕으로 다음에 올 가장 확률 높은 단어 조각(토큰)을 선택하는 기본 작동 원리이다. 이 방식은 언어의 흐름을 만드는 데는 탁월하지만, 수학적 연산 결과를 도출할 때도 실제 계산이 아닌 확률적 추측에 의존하게 만든다.