OSWorld 2.0: 장기 실세계 작업을 위한 컴퓨터 사용 에이전트 벤치마크

왜 중요한가

기존 컴퓨터 사용 벤치마크는 짧고 단일 애플리케이션 중심인 경우가 많아 실제 전문 업무의 연속성과 복잡성을 반영하지 못했다. OSWorld 2.0은 인간이 평균 1.6시간을 소요하는 108개의 장기 워크플로로 구성되어 에이전트의 장기 상태 유지, 교차 출처 추론, 동적 환경 적응 능력을 측정한다. 이 벤치마크는 실무 수준의 완성도를 요구하므로 에이전트의 실전 배치 가능성과 안전성 문제를 드러내는 기준점 역할을 한다.

핵심 기여

장기 현실적 워크플로 108개 수집 및 환경화

작업은 실제 전문가 인터뷰와 숙련된 어노테이터의 조사에서 출발하여 문서, 이메일, 웹 포털 등 현실적 입력 산출물을 포함하도록 구성되었다. 각 작업은 일관된 사용자 프로필과 초기 작업 상태로 초기화되어 재현 가능성이 확보되었다. 이로 인해 단일-애플리케이션 또는 단발성 행동이 아닌 다단계 상호의존 워크플로를 평가할 수 있게 되었다.

세밀한 부분 보상과 자동화된 품질 보증 스택

작업별 평균 27.25개의 체크포인트로 부분 보상을 도입하여 중간 진전을 정량화하였다. 유닛 테스트 생성, 인간 크로스체크, 에이전트 롤아웃을 포함하는 3단계 QA 절차로 보상 취약점과 보상 해킹 가능성을 탐지하고 수정보완을 거쳤다. 모델 기반 판정은 전체 점수의 일부(약 11.53%)로 제한하여 기능적 검사를 우선시하도록 평가 설계를 조정했다.

동적 환경과 시뮬레이티드 사용자 채널을 통한 변화 검증

OSWorld 2.0은 자체 호스팅된 31개 웹 서비스와 애플리케이션을 통해 실행 중에 이메일이나 채팅 메시지를 주입하는 식의 환경 변화를 지원한다. 에이전트가 중간에 들어오는 정보에 반응하여 계획을 수정하는지를 평가하기 위해 시뮬레이티드 사용자 채널을 제공한다. 이 구성은 스트리밍 인터랙션과 환경 수준의 의미 변경을 분리하여 평가할 수 있게 만든다.

광범위한 모델·설정에서의 비용-성능 분석

여러 상용 및 오픈 모델을 150, 300, 500 스텝 예산과 다양한 사고 수준에서 평가하여 토큰 효율성과 완성도 간의 균형을 정량화했다. Claude Opus 4.8의 최고 설정이 500스텝에서 이진 완성 20.6%와 부분 점수 54.8%를 기록한 반면 GPT-5.5는 토큰 효율성이 높아 약 13% 수준에서 정체되었다. 추가 토큰 비용이 완성도를 올리는 데 급격히 증가하는 '마지막 마일' 현상이 데이터로 확인되었다.

핵심 아이디어 이해하기

현대의 인터랙티브 에이전트 평가는 단일 화면의 정확한 클릭이나 단편적인 파일 조작 능력만으로는 실제 업무 완성을 보장하지 못한다. 실세계 전문 업무는 여러 애플리케이션과 문서에 걸쳐 의존성을 가지며 실행 중 환경 변화와 암묵적 상태를 포함하므로 에이전트는 연속된 상태를 기억·갱신·검증할 수 있어야 한다. OSWorld 2.0의 핵심 직관은 이러한 작업 수준의 구조적 요구를 재현 가능한 환경과 세밀한 체크포인트로 잡아내면 에이전트의 실전 역량과 실패 모드가 드러난다는 점이다.

장기 워크플로에서는 단일 행동의 정확성보다 상태 추적과 검증 루프가 중요하다. 에이전트는 관찰→추론→행동의 루프를 반복하면서 각 단계의 증거와 제약을 유지해야 하고, 중간에 도착하는 새 정보는 기존 계획을 재검증하게 만든다. 이 과정에서 단순히 더 많은 토큰이나 더 큰 모델이 아니라 목적 중심의 상태 저장과 오류 감지·수정 메커니즘이 결정적 기여를 한다.

따라서 OSWorld 2.0은 두 축을 통해 직관을 검증한다. 하나는 작업 난이도와 호라이즌을 늘려 장기 상태 유지와 교차 출처 추론의 필요성을 증폭시키는 축이고, 다른 하나는 세밀한 부분 보상과 자동화된 QA를 통해 진전과 보상 해킹을 분리하는 축이다. 이 결합은 에이전트의 부분 성과가 실제 완성으로 이어지는 병목을 식별하게 만든다.

방법론

작업 수집은 팀 브레인스토밍, 전문가 인터뷰, 설문, LLM 기반 합성 제안의 혼합으로 이루어졌고, 최종 선별은 복잡성·다양성·실현 가능성 기준으로 진행되었다. 각 후보는 어노테이터가 도메인 튜토리얼과 실무 자료를 학습한 뒤 환경 설정과 평가 루틴을 작성하는 방식으로 실행 가능한 작업 사양으로 변환되었다. 합성 제안은 아이디어 확장에 쓰였고 그 결과물은 인간 검증을 통해 현실성·완전성 기준을 만족할 때만 채택되었다.

환경 구성은 실제 데스크톱 애플리케이션과 자체 호스팅된 웹 서비스 조합으로 이루어졌다. 초기 상태에는 로컬 파일, 열린 문서, 계정 기록, 이전 메시지 등 작업 관련 상태가 포함되며 모든 식별자와 데이터는 내부 일관성을 갖추도록 정렬되었다. 동적 환경 재현을 위해 실행 중 메시지 주입과 시뮬레이티드 사용자 응답을 제공하여 에이전트가 변화 감지와 계획 수정 능력을 요구받도록 만들었다.

평가는 기능적 검사 우선 원칙을 적용하여 가능한 한 환경 상태와 아티팩트를 직접 체크하는 방법을 썼다. 모델 기반 판정은 보완 수단으로 전체 점수의 일부에만 기여하도록 제한했고 각 판정 프롬프트는 라벨된 정답/오답 셋에서 검증되어야만 채택되었다. QA 스택은 자동 유닛 테스트 생성, 인간 크로스체크, 에이전트 롤아웃을 포함하여 보상 해킹과 거짓 음성 위험을 완화하도록 설계되었다.

주요 결과

메인 결과는 에이전트들이 장기 워크플로에서 부분 진전은 이루지만 엄격한 완성 기준에서는 저조한 성과를 보인다는 점이다. Claude Opus 4.8의 최고 구성은 500스텝 예산에서 이진 완성 20.6%와 부분 점수 54.8%를 기록했고 GPT-5.5는 토큰 효율성으로 약 13% 수준에서 정체되었다. 에이전트별 토큰 사용량과 완성도 곡선을 비교하면 토큰을 더 쓰는 것이 부분 점수를 올리는 데 유리하지만 최종 완성으로 가기 위한 추가 토큰 비용은 급격히 늘어나는 경향이 관찰되었다.

호라이즌 의존성 측면에서는 사람 기준으로 길이가 증가할수록 이진 완성률이 급격히 떨어졌다. 인간의 중간 시간 기준으로 1.6시간에 수렴하는 장기 작업에서는 대부분의 모델이 완료율 10% 이하로 감소했고 가장 긴 작업군에서는 모든 모델이 거의 완성에 실패했다. 이 결과는 긴 작업에서 상태 유지·충돌 해소·동적 변경 대응 능력이 결정적임을 정량적으로 보여준다.

행동 분석을 통해 에이전트의 솔루션 스타일 차이가 드러났다. GPT-5.5는 프로그램적 조작(코드·API 중심)에 치우쳐 토큰 효율성이 높았고 Claude 계열은 GUI 중심 작업을 더 잘 유지하여 최종 완성 비율에서 우위를 보였다. 모든 모델이 오류 감지·복구에 소극적이어서 회복·수리 단계에 할당하는 예산이 전체의 7%를 넘지 않았고 이 점이 장기 작업 실패의 중요한 원인으로 확인되었다.

기술 상세

전체 아키텍처는 자체 호스팅 웹 서비스 31개와 데스크톱 애플리케이션 세트를 통합한 실행 환경에서 에이전트를 평가하는 구조이다. 각 작업은 초기 환경 상태, 시뮬레이티드 사용자 지식, 중간 체크포인트와 최종 평가 루틴을 포함하며 체크포인트 평균 수는 27.25개이다. 환경은 재현성을 위해 고정된 데이터와 합성 자료를 혼용하며 신원·민감 정보는 필요시 합성으로 대체한다.

평가 파이프라인은 기능적 체크 우선 원칙을 따르며 불가피한 개방형 판단에는 검증된 모델 기반 체커를 보조적으로 사용한다. 모델 기반 판정은 전체 점수의 약 11.53%를 차지하고 어떤 작업도 해당 판정에 과도하게 의존하지 않도록 설계되었다. 평가 인프라는 AWS 상의 CPU 인스턴스에서 헤드리스로 실행되며 모든 웹 트래픽은 프록시를 통해 라우팅되었다.

실험 설정은 다양한 모델과 툴 사용 모드를 포함한다. Claude 계열은 claude_computer_use 네이티브 도구를 통해 배치 호출을 지원하고, 그 밖 모델은 pyautogui 기반의 코드 액션을 사용했다. 출력 토큰 상한은 모델별로 설정되었고 기본적으로 16K 토큰으로 제한했으며 일부 모델은 8K로 제한되었다. 각 액션 사이에 3초 대기 정책을 적용하여 인터페이스 반응성과 타이밍 문제를 재현했다.

한계점

OSWorld 2.0은 장기 데스크톱 작업의 핵심 영역을 포괄하지만 모든 직무와 도메인을 대표하지는 못한다. 각 작업의 제작과 유지에는 상당한 비용이 들며 벤치마크 특유의 아티팩트에 대한 에이전트의 적응 가능성(benchmark overfitting) 위험이 존재한다. 또한 일부 평가 항목은 모델 기반 판정에 의존하므로 판정 모델의 한계가 결과에 영향을 미칠 수 있다.

실무 활용

OSWorld 2.0은 연구와 개발에서 장기 상호작용형 에이전트의 약점과 비용-효능 곡선을 평가하는 표준화된 실험실을 제공한다. 기업의 에이전트 연구팀은 이 벤치마크를 사용하여 상태 관리, 동적 환경 대응, 검증 루프의 개선 효과를 정량적으로 비교할 수 있다. 공개된 환경과 롤아웃 데이터를 통해 재현 가능한 실험을 설계하고 안전성 검사를 통합할 수 있다.

에이전트 연구팀이 상태 보존·오류 복구 메커니즘을 도입했을 때 완성도와 토큰 비용의 변화량을 정량적으로 평가하는 데 사용할 수 있다.
제품팀이 데스크톱·웹 크로스도메인 작업에서의 안전성 리스크를 측정하고 사이드 이펙트 탐지 정책을 검증하는 데 활용할 수 있다.
교육 목적의 사례로 장기 워크플로 테스트 케이스와 자동화된 체크포인트를 참고하여 에이전트 운영 가이드라인을 수립하는 데 적용할 수 있다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

computer-use workflows(컴퓨터 사용 워크플로)long-horizon tasks(장기 작업)implicit-state inference(암묵 상태 추론)cross-source reasoning(교차 출처 추론)partial-reward(부분 보상)dynamic environment(동적 환경)

용어 해설

이진 완성도(Binary Completion): — 작업을 '완료' 또는 '실패'로 이분법적으로 평가하는 방식으로, 최종 상태가 모든 체크포인트를 만족하면 1, 아니면 0으로 취급한다. 이 지표는 긴 워크플로에서 중간 진전을 반영하지 못하므로 부분 성과와 병행하여 해석해야 한다. OSWorld 2.0에서는 엄격한 완성 기준으로 에이전트가 최종 제출까지 도달했는지를 가늠하는 핵심 측정값으로 사용된다.
부분 보상(Partial Reward): — 작업을 여러 체크포인트로 쪼갠 뒤 각 체크포인트 달성도를 합산하여 점수를 매기는 방식으로, 평균 27.25개의 체크포인트로 구성된 세밀한 평가를 제공한다. 이 방식은 최종 완성 여부가 아닌 단계별 진척을 정량화하여 긴 호라이즌 작업의 성과를 더 잘 포착한다. OSWorld 2.0에서는 최종 이진 완성도와 함께 부분 보상이 핵심 비교 축으로 사용된다.
동적 환경(Dynamic Environment): — 작업 수행 중에 환경 상태가 외부 이벤트로 바뀌는 설정을 가리키며, 예컨대 실행 중에 새로운 이메일이나 채팅 메시지가 들어오는 상황이 포함된다. 이 조건은 에이전트가 초기 관찰만으로 고정된 계획을 수행해서는 안 되고 스트리밍으로 들어오는 변경을 감지하고 계획을 수정해야 함을 요구한다. OSWorld 2.0은 자체 호스팅된 서비스와 시뮬레이션된 사용자 채널을 통해 동적 환경을 재현한다.
암묵 상태 추론(Implicit-State Inference): — 명시적으로 주어지지 않는 작업 관련 정보를 로그, 이전 보고서, 이메일 등 분산된 자료에서 복원해야 하는 능력으로, 예컨대 과거 보고서에서 직원 ID를 찾아내는 과정이 해당된다. 이 능력은 전체 워크플로의 연속성을 유지하는 데 중요하며 에이전트가 미지의 상태를 복구하지 못하면 작업이 붕괴된다. OSWorld 2.0의 핵심 난제 중 하나로 평가된다.
교차 출처 추론(Cross-source Reasoning): — 여러 애플리케이션과 문서에 흩어진 증거를 연결하여 일관된 결론을 도출하는 과정으로, 예컨대 이메일 영수증, 은행 거래 내역, 이전 보고서를 합쳐 환급 청구를 구성하는 작업이 여기에 해당한다. 각 출처의 식별자와 수치가 정합해야 최종 상태가 유효하므로 단순한 텍스트 매칭을 넘어 구조적 추론이 필요하다. 이 능력 부족이 OSWorld 2.0에서 빈번한 실패 원인으로 식별되었다.

OSWorld 2.0: 장기 실세계 작업을 위한 컴퓨터 사용 에이전트 벤치마크

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드