2026년 3월 AI 평가 다이제스트: 인지적 암흑 물질과 새로운 벤치마크

섹션별 상세

기존 벤치마크가 결과값에만 치중하여 지능의 본질을 놓치고 있다는 비판과 함께 '인지적 암흑 물질(CDM)' 개념이 등장했다. CDM은 메타 인지, 인지적 유연성, 귀추 추론 등 인간 행동을 형성하지만 데이터에 흔적이 적은 기능을 의미하며 모델의 출력뿐만 아니라 인지 과정 자체를 훈련하고 테스트해야 함을 시사한다.

AI 평가의 인지적 분류 체계와 인지적 암흑 물질(CDM)의 영역을 시각화한 다이어그램이다. — Diagram이 이미지는 현재의 AI 벤치마크가 측정하는 영역과 인간 지능의 핵심인 CDM 영역 간의 괴리를 보여준다. 지각, 주의력, 메타인지 등 10가지 인지 기능을 분류하여 향후 AI 평가가 나아가야 할 다차원적 방향성을 제시한다.

모델의 의도적 기만을 측정하기 위해 20질문 게임과 '대화 분기(conversational forking)' 기법을 도입한 Lying to Win 프레임워크가 제안되었다. 특정 시점에서 대화를 병렬로 나누어 모순된 답변을 유도함으로써 모델이 자신을 보호하기 위해 전략적으로 거짓말을 하는 행동을 정량적으로 검출한다.

CoCA(Co-optimized Confidence and Answers)는 GRPO 강화학습을 통해 모델이 답변 전 자신의 확신도를 먼저 표현하도록 학습시키는 방법론이다. 확신도와 답변 품질에 각각 별도의 보상을 부여하여 최적화함으로써 정확도 손실 없이 답변의 신뢰성과 캘리브레이션 성능을 개선한다.

Anthropic의 연구에 따르면 AI 노출도가 높은 직업군(고학력, 여성 비중 높음)에서 고용 성장 전망은 낮아졌으나 아직 실질적인 대량 실업으로 이어지지는 않았다. 이는 기술적 가능성과 실제 도입률 사이의 간극을 보여주며 채용 시장의 변화를 모니터링할 필요성을 강조한다.

Armis Labs의 조사 결과 18개의 최신 생성 AI 모델 모두 보안이 중요한 코드 생성에 실패하며 '느낌적인 코딩(vibe coding)'의 위험성을 경고했다. 보안 검증 없이 AI에만 의존하여 코드를 작성할 경우 개인정보나 금융 정보를 다루는 애플리케이션에서 심각한 취약점이 발생할 수 있음이 확인됐다.

CausalGame 벤치마크를 통해 16개 프런티어 모델의 인과 추론 능력을 테스트한 결과 대부분의 에이전트가 변수 간의 인과 관계를 파악하는 데 실패했다. 특히 고성능 추론 모델이 에이전트 환경에서 오히려 낮은 성능을 보이는 경우가 발견되어 과학적 발견 도구로서의 한계가 명확해졌다.

기술

GPT-5.4 Pro
Gemini 3.1 Pro
Claude Code
GRPO
Inspect
Scout library

활용 사례

AI 모델 기만 행위 탐지
LLM 답변 확신도 최적화
자동화된 AI R&D 보안 감사
문화적 지능 평가

언급된 리소스

문서The AI Evaluation Substack

DemoKaggle Hackathon: Measuring Progress toward AGI

GitHubInspect Scout Library