텍스트 완성 모델
입력된 텍스트의 다음 단어를 예측하여 문장을 이어가는 방식이다. 사용자와 대화를 주고받는 챗 모델과 달리, 주어진 문맥을 바탕으로 통계적으로 가장 적절한 다음 내용을 생성하는 데 집중한다. 이는 대규모 언어 모델의 가장 기본적인 작동 원리이자 학습 방식이다.
단 8M 파라미터로 구현한 초경량 언어 모델의 한계 도전