LLM 벤치마크의 한계: 서사 구조 분석을 위한 '해석적 추론' 측정의 필요성

작성자의 문제 제기에 대해 대체로 긍정적이며, 많은 사용자가 벤치마크 점수와 실제 도메인 성능 간의 괴리에 공감했다.

• 데이터 오염을 피하기 위해 LLM 학습 데이터에 포함되지 않은 2020년 이전의 전문가 주석 데이터를 평가셋으로 활용할 것
• 모델의 자기 평가 점수 대신 인간 전문가의 교차 검증을 통해 해석 정확도를 측정할 것

• 해석적 추론은 외부 지식 체계를 텍스트에 투영하여 명시되지 않은 추론을 이끌어내는 능력으로, 현재의 LLM 평가 체계에서 누락된 핵심 요소이다.
• 프론티어 모델들은 서사 분석 시 서구 중심적 편향을 보이거나 서브텍스트를 무시하는 등 체계적인 오류를 범하며, 전문가 대비 자신의 성능을 과대평가한다.
• 데이터 오염이 없는 pre-LLM 시대의 전문가 데이터를 활용한 평가에서 MMLU 점수와 실제 분석 능력 간의 상관관계가 낮음이 증명됐다.
• 법률, 임상, 정보 분석 등 고도의 해석이 필요한 분야에서는 기존 벤치마크 대신 도메인 특화된 해석적 추론 평가 지표를 반드시 도입해야 한다.