구글의 AI 에이전트 OS 개발 주장과 독립적 평가의 필요성

섹션별 상세

구글은 단일 프롬프트로 OS를 개발했다고 주장하지만, 실제 프롬프트는 수천 줄에 달하며 구체적인 지시 사항이나 튜닝 과정이 공개되지 않았다.

에이전트가 OS를 처음부터 작성했는지, 아니면 인터넷상의 기존 코드를 모방했는지에 대한 분석이 부재하여 실제 성능을 가늠하기 어렵다.

에이전트의 자율성을 뒷받침하는 '스캐폴드(scaffold)'가 특정 작업에 과적합(overfit)되었을 가능성을 배제할 수 없다.

벤더사가 제공하는 단일 실행 기반의 홍보성 평가는 과학적 엄밀성이 부족하며, 독립적인 연구 기관의 검증이 필수적이다.

오픈 월드 평가(Open-World Evaluation): — 통제된 벤치마크 환경이 아닌, 실제 복잡한 환경에서 에이전트의 성능을 평가하는 방식. 긴 시간 동안 자율적으로 작업을 수행하는 에이전트의 능력을 검증하기 위해 필요하며, 방법론적 엄밀성과 독립적 검증이 요구된다.
스캐폴드(Scaffold): — AI 모델이 자율적으로 행동할 수 있도록 주변에 구축된 코드, 프롬프트, 도구 등의 인프라 계층. 메모리 관리, 도구 접근, 환경 상호작용 등을 담당하며 에이전트의 성능에 결정적인 영향을 미친다.