본문으로 건너뛰기

tiny-stories

TinyStories

TinyStories는 단문형 아동 이야기 데이터셋으로 소형 언어모델 학습에 사용된 자료 세트다. 모델은 이 데이터로 학습되어 짧은 서사 중심의 텍스트를 생성하도록 최적화되어 있다. 경량 모델 실험에서 학습 분포와 출력 특성을 이해하는 데 직접적인 근거를 제공한다.