프론티어 AI 역량 측정을 위한 오픈 월드 평가: CRUX 프로젝트 소개

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

기존 AI 벤치마크들이 포화 상태에 도달함에 따라, 실제 세상의 복잡하고 모호한 과제를 수행하는 능력을 측정하는 '오픈 월드 평가(Open-world evaluations)'가 중요해졌다. 이 방식은 샌드박스를 벗어나 실제 환경에서 장기적인 과제를 수행하며, 단순 정확도보다는 로그 분석을 통한 질적 평가와 상한선 역량 도출에 집중한다. CRUX 프로젝트는 이러한 평가를 체계화하기 위해 설립되었으며, 첫 실험에서 AI 에이전트가 iOS 앱을 개발하여 실제 앱스토어에 출시하는 데 성공했다. 비록 약 1,000달러의 비용과 소수의 인간 개입이 발생했으나, 이는 AI가 자율적으로 복잡한 배포 프로세스를 완수할 수 있음을 시사하며 업계에 새로운 경고와 기회를 동시에 제공한다.

배경

LLM 벤치마크(MMLU, SWE-Bench 등)에 대한 기본 이해, AI 에이전트 및 스캐폴딩(Scaffolding) 개념, 소프트웨어 배포 파이프라인에 대한 지식

대상 독자

AI 정책 입안자, AI 평가 연구자, 프론티어 모델 개발자 및 에이전트 기반 서비스 기획자

의미 / 영향

이 연구는 AI가 단순히 코드를 짜는 수준을 넘어 실제 비즈니스 프로세스를 완수할 수 있음을 보여줍니다. 이는 대규모 자동화 스팸이나 보안 위협에 대한 조기 경고 역할을 하며, 기업들이 벤치마크 점수 이상의 실질적 신뢰성을 평가하는 기준으로 '오픈 월드 평가'를 도입해야 함을 시사합니다.

섹션별 상세

기존 벤치마크는 정밀하게 규정된 작업에 최적화되어 AI의 실제 일반화 능력을 과대평가하거나 인프라 문제로 과소평가하는 한계가 있다. 오픈 월드 평가는 실제 환경의 무질서함을 포함하며, 인간의 개입을 허용해 에이전트가 도달할 수 있는 역량의 상한선을 측정하는 데 목적을 둔다. 이를 통해 벤치마크가 놓치는 신뢰성 문제나 보상 해킹(reward hacking) 같은 부작용을 심층적으로 파악할 수 있다.

CRUX(Collaborative Research for Updating AI eXpectations)는 정부, 학계, 비영리 단체 전문가들이 모여 정기적으로 오픈 월드 평가를 수행하는 협력 프로젝트이다. 이 프로젝트는 AI 역량에 대한 조기 경고 시스템 역할을 수행하며, 기술이 널리 퍼지기 전에 기관들이 회복탄력성을 구축할 수 있도록 돕는다. 매달 새로운 평가 과제를 설계하고 로그 분석 결과를 공개하여 커뮤니티의 검증을 유도할 계획이다.

첫 번째 CRUX 실험에서 Claude 4.6 Opus 기반 에이전트는 브리딩 연습용 iOS 앱을 개발하고 앱스토어 심사 및 출시 과정을 자율적으로 수행했다. 에이전트는 코드 작성뿐만 아니라 개인정보 처리방침 게시, 메타데이터 준비, Apple의 규정 준수 설문 작성 등 비코딩 배포 업무를 완수했다. 총 비용은 약 1,000달러가 소요되었으나, 이 중 대부분은 상태 모니터링에 쓰인 토큰 비용으로 최적화 시 25달러 수준까지 절감이 가능한 것으로 나타났다.

근거

AI 에이전트가 iOS 앱을 개발하여 실제 앱스토어에 출시하는 데 성공했다. — CRUX #1 섹션 및 'The final evaluation' 문단 출처
앱 개발 및 제출에 소요된 순수 비용은 약 25달러였으나, 모니터링을 포함한 총 비용은 1,000달러였다. — CRUX #1 결과 요약 및 주석 10번

실험 과정에서 에이전트는 가상의 전화번호를 날조하거나 제공된 자격 증명을 찾지 못하는 등 두 차례의 주요 오류를 범했으나 결국 출시에 성공했다. 특히 에이전트는 스스로 비용 효율적인 전략으로 수정하여 시간당 비용을 35달러에서 3달러로 줄이는 적응력을 보였다. 이러한 결과는 향후 AI 에이전트에 의한 앱스토어 스팸 제출 가능성을 시사하며, Apple과 같은 플랫폼 운영자가 대비해야 할 지점을 명확히 한다.

근거

에이전트는 스스로 전략을 수정하여 운영 비용을 시간당 35달러에서 3달러로 90% 이상 절감했다. — 주석 10번: 'reduced the running cost from $35/hour to $3/hour'

기술

Claude Opus 4.6
OpenClaw
macOS VM
GitHub Pages
App Store Connect API

활용 사례

자율 앱 개발 및 배포
사이버 보안 취약점 탐지
복잡한 행정/비즈니스 프로세스 자동화

언급된 리소스

문서CRUX 프로젝트 공식 웹사이트

논문Open-world evaluations PDF 원문