GENERAL365: 대형 언어 모델의 다양하고 도전적인 과제에 대한 일반 추론 벤치마킹

수학이나 물리학 같은 전문 영역에서 전문가 수준에 도달한 LLM들이 정작 일상적인 논리 구조를 가진 일반 추론 문제에서는 고전하고 있음을 밝혀냈습니다. 특정 도메인 지식에 의존하지 않고도 복잡한 제약 조건과 논리적 분기를 해결해야 하는 GENERAL365 벤치마크를 통해 모델의 순수한 사고 능력을 측정할 수 있는 새로운 기준을 제시합니다.

기존의 LLM 추론 평가는 주로 수학 공식이나 프로그래밍 코드 같은 특정 도메인의 지식 습득 여부에 치우쳐 있었다. 이는 모델이 실제로 논리적 사고를 하는 것인지, 아니면 학습 데이터에 포함된 방대한 전문 지식을 단순히 인출(Retrieval)하는 것인지 구분하기 어렵게 만든다. 본 논문은 지식의 범위를 초중고 수준으로 엄격히 제한함으로써 지식 인출의 영향을 최소화하고 순수한 논리 연산 능력을 측정하고자 한다.

동작 원리의 핵심은 '의미론적 간섭(Semantic Interference)'과 '복잡한 제약 조건'의 결합이다. 예를 들어 상식과 반대되는 가상의 규칙을 설정하여 모델이 사전 학습된 편향을 억제하고 주어진 전제 조건에만 충실히 따르는지 테스트한다. 이는 Transformer 아키텍처가 Attention Mechanism을 통해 입력된 컨텍스트 내의 논리적 관계를 얼마나 엄밀하게 유지하는지를 평가하는 것과 같다.

결과적으로 최신 모델들도 이러한 일반 추론 환경에서는 성능이 급격히 하락하며, 이는 현재의 LLM이 특정 패턴에 최적화된 추론을 하고 있을 뿐 범용적인 논리 해결 능력에는 여전히 큰 공백이 있음을 시사한다.

데이터셋 구축은 시드 데이터 수집, 난이도 필터링, 데이터 후처리, 전체 확장 및 인간 검수라는 4단계 파이프라인으로 구성된다. 시드 문제는 웹 검색으로 해결할 수 없는 독창적인 문제로 구성하며, 각 문제는 문제 설명, 상세 추론 경로(Reasoning Trace), 정답의 트리플렛 구조를 갖는다.

평가 방식은 규칙 기반과 모델 기반 채점을 결합한 하이브리드 프레임워크를 사용한다. 수치형 정답은 LaTeX 형식을 강제하고 정밀도 임계값을 설정하여 수식으로 검증한다. [모델 출력값 → LaTeX 파싱 → 정답과 수치 비교 → 일치 여부 판정] 순으로 계산 원리가 작동한다. 선택형이나 텍스트형 정답은 GPT-4.1을 채점 모델로 활용하여 의미적 동일성을 판정하며, 이 하이브리드 방식은 인간 검수 결과와 99.6%의 일치도를 보였다.

26개의 주요 LLM을 대상으로 실험한 결과, Gemini-3-Pro가 62.8%로 1위를 차지했으나 대다수 모델이 합격선인 60%를 넘지 못했다. 이는 수학/물리 벤치마크에서 만점에 가까운 점수를 내는 것과 대조적이다. 특히 '의미론적 간섭'과 '최적 전략' 카테고리에서 모델들의 성능이 전체 평균보다 약 10% 낮게 나타나 이 부분이 주요 병목 구간임이 확인됐다.

추론 효율성 분석에서 Gemini-3-Pro는 평균 15k 토큰만으로 최고 성능을 낸 반면, 다른 최상위 모델들은 25k~30k 토큰을 소모하고도 더 낮은 정확도를 기록했다. 이는 단순히 긴 추론(Long-term Thinking)을 수행하는 것보다 추론의 질과 밀도가 중요함을 보여준다.

GENERAL365는 8가지 챌린지 분류체계를 통해 모델의 인지적 한계를 정밀 타격한다. 특히 'Recursive & Backtracking'은 비선형적 문제 해결 능력을, 'Implicit Information Reasoning'은 명시되지 않은 단서를 유추하는 능력을 측정한다. 아키텍처 측면에서 추론 전용 모델(Reasoning Models)이 일반 채팅 모델(Chat Models)보다 압도적인 성능 우위를 보였는데, 이는 명시적인 추론 경로 생성이 복잡한 논리 구조를 해독하는 데 필수적임을 입증한다.

데이터의 다양성을 검증하기 위해 t-SNE 시각화를 수행한 결과, 기존 BBH나 BBEH 벤치마크가 특정 클러스터에 뭉쳐 있는 것과 달리 GENERAL365는 시맨틱 공간 전체에 고르게 분포되어 있어 중복성이 낮고 변별력이 높음이 확인됐다. 또한 모델 간 추론 경로 유사도 점수를 측정하여 논리적 독립성을 수치화했다.

본 논문은 지식 범위를 K-12로 제한했기 때문에 고도의 전문 지식이 결합된 추론 능력은 측정하지 않는다. 또한 현재 8가지 카테고리 중 일부(확률 및 불확실성 등)의 샘플 비중이 상대적으로 낮아 향후 확장이 필요할 수 있다.