사전 학습
대규모 텍스트 데이터를 사용하여 모델이 언어의 구조, 지식, 그리고 다양한 인간적 특성을 학습하는 초기 단계이다. 이 과정에서 모델은 수많은 페르소나를 시뮬레이션할 수 있는 기초 능력을 갖추게 된다.
10억 파라미터급에서 증명된 Wave Field LLM의 확장성
필드 기반 상호작용의 증명: 8억 파라미터 모델 학습 성공
클로드가 간식을 가져다주겠다고? 앤스로픽의 페르소나 선택 모델
Llama 3를 바닥부터 학습한다? 30분 만에 끝내는 나만의 모델 만들기