간결성 제약이 언어 모델의 성능 계층 구조를 역전시킨다

대형 언어 모델(LLM)이 특정 벤치마크에서 소형 모델보다 낮은 성능을 보이는 현상의 원인이 모델의 근본적 한계가 아닌 '과도한 장황함'에 있음이 밝혀졌다. 0.5B에서 405B 파라미터 규모의 31개 모델을 분석한 결과, 대형 모델일수록 불필요한 설명을 덧붙이다가 오류를 범하는 경향이 확인됐다. 답변의 길이를 제한하는 '간결성 제약'을 적용했을 때 대형 모델의 정확도가 26%p 향상되며 기존의 성능 역전 현상이 완전히 해소됐다. 이는 보편적인 프롬프트가 대형 모델의 잠재력을 가리고 있음을 시사하며, 모델 규모에 맞춘 최적화된 프롬프트 설계의 중요성이 확인됐다.