Auggie CLI, SWE-bench Pro 벤치마크에서 1위 달성

섹션별 상세

Auggie CLI는 SWE-bench Pro 벤치마크의 731개 문제 중 51.80%를 해결하며 Cursor(50.21%)와 Claude Code(49.75%)를 제치고 1위를 차지했다.

성능 차이의 핵심은 모델 자체가 아닌 에이전트 아키텍처와 컨텍스트 검색 능력에 있으며, Auggie는 코드베이스 전체를 의미론적으로 인덱싱하는 Context Engine을 활용한다.

SWE-bench Pro는 기존 Verified 버전보다 난이도가 높으며, 평균 4.1개의 파일 수정과 107줄의 코드 변경이 필요한 복잡한 실무 과제를 포함한다.

기존 Python 중심에서 벗어나 Go, TypeScript, JavaScript 등 다국어 환경을 지원하며 버그 수정, 보안 패치, 성능 최적화 등 다양한 유형의 작업을 평가한다.

Augment의 Context Engine은 단순 키워드 매칭(grep)을 넘어 코드 간의 의미론적 관계를 이해함으로써 복잡한 레이어에 걸친 유틸리티 함수 수정 등 어려운 문제를 해결한다.

SWE-벤치 프로(SWE-bench Pro): — Scale AI가 2025년 말 출시한 소프트웨어 엔지니어링 벤치마크로, 다중 파일 수정과 다국어 지원을 통해 실제 개발 환경의 복잡성을 평가한다. 기존 벤치마크보다 난이도가 훨씬 높으며 에이전트의 실질적인 문제 해결 능력을 측정하는 표준으로 자리 잡았다.
의미론적 인덱싱(Semantic Indexing): — 단순 키워드 매칭을 넘어 코드의 구조와 논리적 의미를 벡터화하여 저장하는 기술이다. 이를 통해 에이전트가 특정 기능을 구현하거나 버그를 수정할 때 텍스트가 일치하지 않더라도 기능적으로 연관된 코드를 정확히 찾아낼 수 있게 돕는다.
컨텍스트 엔진(Context Engine): — Augment가 개발한 에이전트 아키텍처의 핵심 요소로, 코드베이스 전체에 대한 의미론적 인덱스를 구축한다. 에이전트가 코드를 작성하기 전 가장 적절한 코드 맥락을 검색하여 제공함으로써 모델의 추론 성공률을 극대화하는 역할을 한다.
모델 컨텍스트 프로토콜(MCP): — Model Context Protocol의 약자로, AI 모델이 외부 데이터 소스나 도구와 표준화된 방식으로 통신할 수 있게 해주는 개방형 프로토콜이다. 에이전트가 다양한 개발 도구 및 코드베이스와 효율적으로 상호작용할 수 있는 기반을 제공한다.