text-degeneration

언어 모델이 문맥과 상관없이 동일한 문구를 반복하거나 의미 없는 기호를 나열하는 등 품질이 낮은 텍스트를 생성하는 현상이다. 제약이 없는 생성 환경에서 모델의 취약점이나 학습 데이터의 특이점을 발견하는 단서가 된다. 모델의 안정성과 신뢰성을 판단하는 기준이 된다.