LLM 학습 과정에서 나타나는 언어 모델의 일관성 변화 관찰

섹션별 상세

163M 파라미터 모델을 3.2B 토큰으로 학습하며 57개 체크포인트를 저장해 생성 품질 변화를 기록했다. 학습 루프는 1,024 토큰 시퀀스 96개를 한 단계로 처리하며, 단계마다 손실값을 기반으로 가중치를 갱신했다.

초기 단계에서는 의미 없는 토큰이 나열되지만, 학습 데이터의 1/3 지점인 약 10억 토큰 학습 시점에서 이미 문법적으로 그럴듯한 문장을 생성하기 시작했다. 이는 캐릭터 단위 모델과 달리 토큰 단위로 처리하는 Transformer 구조의 특성에서 기인한다.

학습 중반 이후에는 문장 구조가 안정화되나, 작은 모델 특유의 반복적인 문구 생성이나 문맥 이탈 현상이 관찰됐다. 후반부 학습은 생성된 텍스트의 논리적 일관성과 정확성을 높이는 정제 과정으로 작용한다.