WikiText-103
대규모 언어모델 평가에 자주 쓰이는 공개 언어모델링 데이터셋으로 긴 문맥과 다양한 주제가 포함되어 있다. 언어 모델의 퍼플렉서티(perplexity) 비교와 긴 문맥 처리 능력 검증에 적합해 본문에서 실험 대상으로 채택되었다. 데이터셋 특성상 장문 문맥을 사용하는 모델 간 성능 차이를 드러내는 데 유용하다.
