목의 가시 다시 보기: 언어 모델을 위한 의미론적 추론 벤치마크

기존 LLM 평가가 수학이나 논리적 추론에 집중된 반면, 이 논문은 관용구나 복합 명사처럼 단어의 조합과 문맥에 따라 의미가 변하는 의미론적 추론 능력을 진단합니다. 단순한 패턴 매칭을 넘어 모델이 언어의 미묘한 뉘앙스를 실제로 이해하고 있는지 확인하는 새로운 기준을 제시합니다.

언어 모델은 단어들이 결합되어 새로운 의미를 만드는 다어절 표현(Multiword Expressions)을 처리할 때 어려움을 겪는다. 예를 들어 'rocket science'는 물리적인 로켓 과학을 의미할 수도 있지만 문맥에 따라 '매우 어려운 일'이라는 관용적 의미를 갖기도 한다. 기존 평가 방식은 단순히 이 단어가 관용구인지 맞추는 식의 단편적인 작업에 치중되어 있어 모델이 실제로 의미를 추론하는지 아니면 학습 데이터의 통계적 패턴을 암기한 것인지 구분하기 어려웠다.

SEMANTICQA는 이를 해결하기 위해 하나의 표현에 대해 세 가지 층위의 연산을 요구한다. 먼저 문장에서 해당 표현을 찾아내고(Extraction), 어떤 유형인지 분류하며(Classification), 최종적으로 문맥에 맞는 의미로 재진술(Interpretation)하게 한다. 이는 딥러닝 모델이 입력 텍스트를 고정된 벡터로 임베딩하는 수준을 넘어 문맥에 따라 동적으로 의미를 재구성하는 추론 과정을 거쳐야 함을 의미한다.

실험 결과 최신 모델들도 단일 작업에서는 높은 성능을 보이지만, 추출한 결과를 바탕으로 해석을 수행하는 순차적 과정에서는 성능이 급격히 하락했다. 이는 모델이 파편화된 지식은 갖추고 있으나 구조적으로 견고한 의미론적 추론 체계를 구축하지 못했음을 시사한다.

SEMANTICQA는 네 가지 주요 언어 현상(관용구, 어휘 연어, 복합 명사, 동사 구문)을 다룬다. 각 현상에 대해 추출(Extraction), 분류(Classification), 해석(Interpretation)이라는 세 가지 원자적 작업을 정의하고 이를 고정된 프롬프트 템플릿을 통해 모델에 입력한다.

분류 작업은 다지선다형 정확도(ACC)로 측정하며, 추출 작업은 시퀀스 수준의 완전 일치 정확도(ACCs)를 사용한다. 해석 작업은 생성된 텍스트와 정답 간의 유사도를 METEOR, ROUGE-L, BERTScore로 평가한다. [생성된 문장과 참조 문장의 토큰 집합 입력] → [n-gram 중복도 및 의미적 유사도 연산] → [0~1 사이의 점수 출력] → [모델의 의미 재구성 능력 수치화]

또한 순차적 작업 구성(Sequential Task Compositions)을 도입하여 모델이 이전 단계의 출력을 다음 단계의 입력으로 사용할 때의 일관성을 측정한다. 특히 'ORACLE SCHEMA' 기법을 통해 대상 표현의 정의를 프롬프트에 추가로 제공했을 때 모델의 추출 성능이 어떻게 변화하는지 분석하는 진단 도구를 포함한다.

실험 결과 GPT-5, OpenAI o3, DeepSeek-R1 등 최신 모델들도 인간의 성능(HUMAN)에 미치지 못하는 구간이 다수 발견됐다. 특히 관용구 해석(IEI) 작업에서 인간은 20.5 MTR을 기록한 반면, 대부분의 모델은 제로샷 상태에서 10점대 초반에 머물렀다.

In-Context Learning(ICL)의 효과는 작업 유형에 따라 다르게 나타났다. 해석 작업은 예시가 주어질 때 성능이 일관되게 향상되었으나, 추출 작업은 예시의 구조와 테스트 데이터의 구조가 다를 경우 오히려 성능이 저하되는 불안정성을 보였다.

순차적 평가에서 모델들은 올바르게 추출된 경우(Cond. MTR)에는 높은 해석 능력을 보였으나, 전체 파이프라인(Overall MTR)에서는 추출 단계의 병목 현상으로 인해 성능이 크게 하락했다. 예를 들어 DeepSeek-R1의 관용구 해석 Overall MTR은 6.2점에 불과해 추출 단계의 견고함이 전체 의미 이해의 핵심임을 입증했다.

SEMANTICQA는 기존의 MWE 관련 데이터셋(ID10M, PIE, LEXFUNC 등)을 통합하고 재포맷하여 구축됐다. 모델 평가에는 GPT-5, Claude-Sonnet-4.5, DeepSeek-R1 등 10종 이상의 최신 LLM이 포함되었으며, 퓨샷(3-shot, 5-shot) 환경에서의 성능 변화를 정밀 분석했다.

연구팀은 모델이 의미론적 추론을 수행할 때 '얕은 휴리스틱(Shallow Heuristics)'에 의존하는지 확인하기 위해 카테고리 확장 실험을 수행했다. 분류 카테고리가 1개에서 16개로 늘어날 때 DeepSeek-R1의 정확도가 81.7%에서 35.4%로 급락하는 현상을 통해, 현재의 모델들이 명시적인 지도 학습 신호 없이는 세밀한 의미론적 구분을 유지하는 데 한계가 있음을 증명했다.

현재 벤치마크는 영어 데이터에 국한되어 있어 다국어 환경에서의 의미론적 추론 능력을 평가하지 못한다. 또한 고유 명사 기반의 다어절 표현이나 복잡한 기능어 조합 등은 아직 포함되지 않았다.