LLM의 기초: 토큰, 트랜스포머 및 추론의 이해

LLM은 방대한 텍스트 데이터를 학습하여 단어 간의 관계를 파악하는 모델로, 텍스트를 토큰 단위로 변환하여 처리한다. 모델은 이전 토큰들을 기반으로 다음 토큰을 하나씩 예측하는 자기회귀 방식을 통해 문장을 생성하며, 이 과정의 핵심에는 문맥을 효과적으로 파악하는 Transformer 아키텍처가 있다. 하지만 매 토큰 생성 시 수십억 개의 파라미터에 대한 연산이 필요하기 때문에, 수많은 사용자의 요청을 동시에 처리하는 추론 속도 확보는 중요한 공학적 과제로 남아 있다.