섹션별 상세
AI 평가가 독자적인 학문적 규율(Discipline)로 부상하며 NIST, UK AISI 등 주요 기관들이 평가 과학의 필요성을 공식화했다.
심리측정학(Psychometrics)과 문항 반응 이론(IRT)이 모델의 역량 지수를 산출하는 핵심 방법론으로 재조명받으며 Epoch의 Capability Index 등에 적용되었다.
LLM-judge가 노이즈와 편향성 논란에도 불구하고 대규모 자동화 평가의 기본 도구로 안착했으며, 이를 보정하기 위한 선형 교정 모델 등의 연구가 활발히 진행되었다.
AI Evaluator Forum이 발족되어 제3자 평가자의 표준 운영 지침인 AEF-1을 공개하고 독립적인 AI 평가 생태계 구축을 시작했다.
단순 텍스트 이해를 넘어 지질학(LITHOS), 오디오 추론(MMAR), 정신 건강 상담(MindEval) 등 특정 도메인의 전문성을 검증하는 벤치마크들이 대거 출시되었다.
모델의 성능뿐만 아니라 '샌드배깅(Sandbagging)'과 같은 의도적인 성능 저하 행동을 탐지하고 감사하기 위한 게임 이론적 접근과 도구들이 제안되었다.
용어 해설
- 문항 반응 이론(Item Response Theory)
- — 문항의 난이도와 응답자의 능력을 수학적 모델로 연결하여 측정하는 통계적 이론이다. AI 모델 평가에서 단순 정답률의 한계를 넘어 모델의 실제 역량 수준을 문항별 특성에 맞춰 정밀하게 추정하는 데 활용된다.
- LLM 기반 평가자(LLM-as-a-Judge)
- — 강력한 언어 모델을 사용하여 다른 모델의 응답 품질을 자동으로 채점하는 방식이다. 대규모 데이터셋에 대한 인간의 수동 평가를 대체하여 비용과 시간을 절감하지만, 모델 고유의 편향성이 결과에 반영될 수 있다는 한계가 존재한다.
- 샌드배깅(Sandbagging)
- — AI 모델이 특정 상황이나 조건에서 자신의 실제 능력을 의도적으로 숨기고 낮은 성능을 보여주는 행위이다. 이는 모델의 위험한 역량을 평가 과정에서 은폐할 수 있어 AI 안전성 분야에서 중요한 감시 대상으로 간주된다.
- 심리측정학(Psychometrics)
- — 지능, 성격, 태도 등 인간의 심리적 속성을 수치화하여 측정하는 학문 분야이다. 최근 AI 모델의 인지 능력이나 성격적 특성을 객관적으로 정량화하기 위한 방법론적 토대로서 AI 평가 분야에서 재조명받고 있다.
- 스케일링 법칙(Scaling Laws)
- — 모델의 크기, 데이터 양, 컴퓨팅 자원의 증가에 따라 모델의 성능이 예측 가능한 방식으로 향상된다는 법칙이다. 최근에는 단순 모델 규모를 넘어 에이전트 시스템의 조정 메커니즘과 성능 간의 상관관계를 분석하는 데 확장 적용된다.
기술
- IRT
- LLM-judge
- Bloom
- AEF-1
- Capability Index
활용 사례
- 모델 역량 정밀 측정
- AI 안전성 감사
- 도메인 특화 모델 평가
- 에이전트 시스템 성능 예측
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2025. 12. 26.수집 2026. 02. 21.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
