과학자들이 개발한 역대 가장 어려운 AI 테스트 '인류의 마지막 시험' 결과 공개

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

기존 학술 벤치마크에서 AI가 만점에 가까운 점수를 기록함에 따라, 텍사스 A&M 대학교를 포함한 전 세계 연구진이 더 정교한 평가 도구인 '인류의 마지막 시험(HLE)'을 개발했다. 이 시험은 수학, 인문학, 자연과학 등 다양한 분야의 전문 지식을 다루는 2,500개의 문항으로 구성되었으며, 현재 AI가 해결 가능한 문제는 모두 제외하는 방식으로 설계되었다. 초기 테스트 결과 GPT-4o와 같은 최신 모델들도 한 자릿수 정답률을 기록하며 AI와 인간 전문가 사이의 거대한 지능 격차를 드러냈다. 이 벤치마크는 AI의 실제 능력을 정확히 측정하고 안전한 기술 발전을 도모하기 위한 투명한 지표로 활용될 전망이다.

배경

AI 벤치마크(MMLU 등)에 대한 기본 이해, LLM의 추론 능력 및 데이터 학습 방식에 대한 지식

대상 독자

AI 모델 평가 및 벤치마크 연구자, LLM 개발자, AI 정책 입안자

의미 / 영향

이 벤치마크는 AI가 인간 수준의 지능에 도달했다는 착시 현상을 제거하고, 실제 전문가 수준의 지식 습득을 위한 새로운 목표를 제시한다. 또한 AI의 능력을 과대평가하여 발생할 수 있는 정책적, 운영적 리스크를 줄이는 데 기여할 것이다.

섹션별 상세

전 세계 1,000여 명의 전문가가 협력하여 기존 MMLU 등의 벤치마크를 뛰어넘는 2,500개 문항 규모의 '인류의 마지막 시험(HLE)'을 구축했다.

시험 문항은 단순한 인터넷 검색으로 해결할 수 없도록 설계되었으며, 고대 비문 번역이나 조류의 미세 해부학적 구조 식별 등 고도의 전문성을 요구한다.

현재 가용한 최신 AI 모델이 정답을 맞힌 문항은 최종 시험지에서 삭제하는 엄격한 필터링 과정을 거쳐 AI의 한계 지점을 정확히 타격하도록 제작되었다.

성능 평가 결과, GPT-4o는 2.7%, Claude 3.5 Sonnet은 4.1%의 낮은 정답률을 보였으며, 가장 뛰어난 모델들도 40~50% 수준에 머물렀다.

연구진은 이 시험이 인간을 대체하기 위한 것이 아니라, AI의 강점과 약점을 파악하여 더 안전하고 신뢰할 수 있는 기술을 만들기 위한 도구임을 강조했다.

실무 Takeaway

기존 MMLU 점수가 높다고 해서 AI가 인간 수준의 이해력을 가졌다고 판단해서는 안 되며, HLE와 같은 고난도 전문 지식 평가가 병행되어야 한다.
AI 모델 개발 시 단순 패턴 인식을 넘어 문맥과 깊이 있는 전문 지식을 통합하는 능력을 개선해야 함이 실험 수치로 증명되었다.
벤치마크 오염을 방지하기 위해 문항의 상당수를 비공개로 유지하는 방식이 향후 AI 평가의 표준 모델이 될 가능성이 높다.

언급된 리소스

문서Humanity's Last Exam (HLE) 공식 사이트

논문Nature Journal Reference