OSWorld 2.0: 장기 실세계 작업을 위한 컴퓨터 사용 에이전트 벤치마크

기존 컴퓨터 사용 벤치마크는 짧고 단일 애플리케이션 중심인 경우가 많아 실제 전문 업무의 연속성과 복잡성을 반영하지 못했다. OSWorld 2.0은 인간이 평균 1.6시간을 소요하는 108개의 장기 워크플로로 구성되어 에이전트의 장기 상태 유지, 교차 출처 추론, 동적 환경 적응 능력을 측정한다. 이 벤치마크는 실무 수준의 완성도를 요구하므로 에이전트의 실전 배치 가능성과 안전성 문제를 드러내는 기준점 역할을 한다.

현대의 인터랙티브 에이전트 평가는 단일 화면의 정확한 클릭이나 단편적인 파일 조작 능력만으로는 실제 업무 완성을 보장하지 못한다. 실세계 전문 업무는 여러 애플리케이션과 문서에 걸쳐 의존성을 가지며 실행 중 환경 변화와 암묵적 상태를 포함하므로 에이전트는 연속된 상태를 기억·갱신·검증할 수 있어야 한다. OSWorld 2.0의 핵심 직관은 이러한 작업 수준의 구조적 요구를 재현 가능한 환경과 세밀한 체크포인트로 잡아내면 에이전트의 실전 역량과 실패 모드가 드러난다는 점이다.

장기 워크플로에서는 단일 행동의 정확성보다 상태 추적과 검증 루프가 중요하다. 에이전트는 관찰→추론→행동의 루프를 반복하면서 각 단계의 증거와 제약을 유지해야 하고, 중간에 도착하는 새 정보는 기존 계획을 재검증하게 만든다. 이 과정에서 단순히 더 많은 토큰이나 더 큰 모델이 아니라 목적 중심의 상태 저장과 오류 감지·수정 메커니즘이 결정적 기여를 한다.

따라서 OSWorld 2.0은 두 축을 통해 직관을 검증한다. 하나는 작업 난이도와 호라이즌을 늘려 장기 상태 유지와 교차 출처 추론의 필요성을 증폭시키는 축이고, 다른 하나는 세밀한 부분 보상과 자동화된 QA를 통해 진전과 보상 해킹을 분리하는 축이다. 이 결합은 에이전트의 부분 성과가 실제 완성으로 이어지는 병목을 식별하게 만든다.

작업 수집은 팀 브레인스토밍, 전문가 인터뷰, 설문, LLM 기반 합성 제안의 혼합으로 이루어졌고, 최종 선별은 복잡성·다양성·실현 가능성 기준으로 진행되었다. 각 후보는 어노테이터가 도메인 튜토리얼과 실무 자료를 학습한 뒤 환경 설정과 평가 루틴을 작성하는 방식으로 실행 가능한 작업 사양으로 변환되었다. 합성 제안은 아이디어 확장에 쓰였고 그 결과물은 인간 검증을 통해 현실성·완전성 기준을 만족할 때만 채택되었다.

환경 구성은 실제 데스크톱 애플리케이션과 자체 호스팅된 웹 서비스 조합으로 이루어졌다. 초기 상태에는 로컬 파일, 열린 문서, 계정 기록, 이전 메시지 등 작업 관련 상태가 포함되며 모든 식별자와 데이터는 내부 일관성을 갖추도록 정렬되었다. 동적 환경 재현을 위해 실행 중 메시지 주입과 시뮬레이티드 사용자 응답을 제공하여 에이전트가 변화 감지와 계획 수정 능력을 요구받도록 만들었다.

평가는 기능적 검사 우선 원칙을 적용하여 가능한 한 환경 상태와 아티팩트를 직접 체크하는 방법을 썼다. 모델 기반 판정은 보완 수단으로 전체 점수의 일부에만 기여하도록 제한했고 각 판정 프롬프트는 라벨된 정답/오답 셋에서 검증되어야만 채택되었다. QA 스택은 자동 유닛 테스트 생성, 인간 크로스체크, 에이전트 롤아웃을 포함하여 보상 해킹과 거짓 음성 위험을 완화하도록 설계되었다.

메인 결과는 에이전트들이 장기 워크플로에서 부분 진전은 이루지만 엄격한 완성 기준에서는 저조한 성과를 보인다는 점이다. Claude Opus 4.8의 최고 구성은 500스텝 예산에서 이진 완성 20.6%와 부분 점수 54.8%를 기록했고 GPT-5.5는 토큰 효율성으로 약 13% 수준에서 정체되었다. 에이전트별 토큰 사용량과 완성도 곡선을 비교하면 토큰을 더 쓰는 것이 부분 점수를 올리는 데 유리하지만 최종 완성으로 가기 위한 추가 토큰 비용은 급격히 늘어나는 경향이 관찰되었다.

호라이즌 의존성 측면에서는 사람 기준으로 길이가 증가할수록 이진 완성률이 급격히 떨어졌다. 인간의 중간 시간 기준으로 1.6시간에 수렴하는 장기 작업에서는 대부분의 모델이 완료율 10% 이하로 감소했고 가장 긴 작업군에서는 모든 모델이 거의 완성에 실패했다. 이 결과는 긴 작업에서 상태 유지·충돌 해소·동적 변경 대응 능력이 결정적임을 정량적으로 보여준다.

행동 분석을 통해 에이전트의 솔루션 스타일 차이가 드러났다. GPT-5.5는 프로그램적 조작(코드·API 중심)에 치우쳐 토큰 효율성이 높았고 Claude 계열은 GUI 중심 작업을 더 잘 유지하여 최종 완성 비율에서 우위를 보였다. 모든 모델이 오류 감지·복구에 소극적이어서 회복·수리 단계에 할당하는 예산이 전체의 7%를 넘지 않았고 이 점이 장기 작업 실패의 중요한 원인으로 확인되었다.

전체 아키텍처는 자체 호스팅 웹 서비스 31개와 데스크톱 애플리케이션 세트를 통합한 실행 환경에서 에이전트를 평가하는 구조이다. 각 작업은 초기 환경 상태, 시뮬레이티드 사용자 지식, 중간 체크포인트와 최종 평가 루틴을 포함하며 체크포인트 평균 수는 27.25개이다. 환경은 재현성을 위해 고정된 데이터와 합성 자료를 혼용하며 신원·민감 정보는 필요시 합성으로 대체한다.

평가 파이프라인은 기능적 체크 우선 원칙을 따르며 불가피한 개방형 판단에는 검증된 모델 기반 체커를 보조적으로 사용한다. 모델 기반 판정은 전체 점수의 약 11.53%를 차지하고 어떤 작업도 해당 판정에 과도하게 의존하지 않도록 설계되었다. 평가 인프라는 AWS 상의 CPU 인스턴스에서 헤드리스로 실행되며 모든 웹 트래픽은 프록시를 통해 라우팅되었다.

실험 설정은 다양한 모델과 툴 사용 모드를 포함한다. Claude 계열은 claude_computer_use 네이티브 도구를 통해 배치 호출을 지원하고, 그 밖 모델은 pyautogui 기반의 코드 액션을 사용했다. 출력 토큰 상한은 모델별로 설정되었고 기본적으로 16K 토큰으로 제한했으며 일부 모델은 8K로 제한되었다. 각 액션 사이에 3초 대기 정책을 적용하여 인터페이스 반응성과 타이밍 문제를 재현했다.

OSWorld 2.0은 장기 데스크톱 작업의 핵심 영역을 포괄하지만 모든 직무와 도메인을 대표하지는 못한다. 각 작업의 제작과 유지에는 상당한 비용이 들며 벤치마크 특유의 아티팩트에 대한 에이전트의 적응 가능성(benchmark overfitting) 위험이 존재한다. 또한 일부 평가 항목은 모델 기반 판정에 의존하므로 판정 모델의 한계가 결과에 영향을 미칠 수 있다.