OSWorld 2.0, 컴퓨터 작업 80%는 여전히 실패

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

OSWorld 2.0은 평균 300단계가 넘고 여러 애플리케이션을 가로지르는 108개 실제 컴퓨터 작업으로, 짧고 정형화된 벤치마크에서 드러나지 않던 에이전트의 한계를 측정합니다. 31개 웹사이트를 자체 호스팅하고 작업당 평균 27개 Checkpoint로 부분 점수를 계산해 정보 수집, 실행, 안전성의 진행 정도를 나눠 평가합니다. 논문 기준 최고 시스템인 Claude Opus 4.8은 완전 성공 20.6%, 부분 점수 54.8%에 그쳤으며, 발표 직전 공개된 Claude Fable 5.1은 부분 점수 60% 이상과 완전 성공 45% 이상을 기록했습니다. 반복되는 실패는 누락된 정보, 복잡한 화면 인식, 완료 여부 검증 부족, 장기 기억 저하로 묶이며, 화면을 보고 생각하는 동안 환경이 변하는 Streaming Task가 구조적 약점으로 남습니다.

빠른 이해

새로운 점

평균 300단계가 넘는 108개 다중 앱 작업과 31개 자체 호스팅 웹사이트로 Long-Horizon Computer-Use Agent를 평가하고, 완전 성공과 부분 점수·안전성까지 분리한 벤치마크입니다.

핵심 메커니즘

에이전트는 튜토리얼과 여러 앱의 화면·파일·계정 정보를 입력으로 받아 출처 간 대조, 앱 선택, 계획 수정, 사용자 질의를 거쳐 작업을 수행합니다. 시스템은 최종 가상 머신 상태를 평균 27개 Checkpoint와 안전성 기준으로 채점해 완전 성공 여부와 부분 점수를 함께 산출하며, LLM Judge의 비중은 50% 미만으로 제한합니다.

핵심 수치

평가 작업 수: 108개 장기·실제 컴퓨터 작업- 31개 자체 호스팅 웹사이트와 전문 데스크톱 애플리케이션에 걸친 작업
평균 에이전트 궤적: 300단계 초과- 개별 작업 궤적은 약 300~500단계
인간 작업 시간: 69.6%의 작업은 숙련된 사람이 1시간 초과- 작업별 인간 완료 시간 추정치 기준
Claude Opus 4.8 완전 성공: 20.6%- 논문 작성 당시 평가된 최고 모델의 이진 완료 점수
Claude Opus 4.8 부분 점수: 54.8%- 평균 27개 Checkpoint를 활용한 부분 점수
Claude Fable 5.1: 부분 점수 60% 초과, 완전 성공 45% 초과- 발표 24시간 이내 공개된 모델에 대한 발표 외 추가 결과

섹션별 상세

포화된 OSWorld의 후속작

OSWorld 1.0에서는 에이전트 점수가 2년 동안 상승해 올해 초 최고 시스템의 정확도가 80%를 넘었지만, 실제 업무 수행 능력을 구분하기에는 난도가 낮아졌습니다. OSWorld 2.0은 작업 궤적을 300~500단계로 늘리고 한 작업에서 여러 애플리케이션을 사용하게 만들어, 짧은 스크립트가 아닌 실제 오후 업무에 가까운 조건을 구성합니다. 가장 복잡한 작업은 Gmail, 로컬 파일, 예약 애플리케이션, 은행 계정 등 최대 다섯 개 앱을 연결하며, 모델은 앱 선택부터 작업 순서까지 스스로 결정해야 합니다. 논문에서 평가한 최고 시스템 Claude Opus 4.8도 108개 작업 중 완전 성공률 20.6%에 머물러 긴 작업의 실패 여지가 크게 남았습니다.

환급 업무로 본 작업 복잡도

대표 과제는 직원이 비용 환급을 신청하는 흐름으로, 에이전트가 사용할 앱이나 이동 경로를 미리 받지 않고 사람 직원처럼 튜토리얼을 따라 필요한 자료를 모아야 합니다. Airbnb 영수증 화면에 여러 달러 금액이 있으면 올바른 값을 가려내야 하고, 환급 시스템의 이전 제출 기록을 조회해 필요한 개인 ID를 찾아야 하며, Gmail 팝업으로 바뀐 숫자가 나타나면 기존 계획을 수정해야 합니다. OSWorld 1.0의 질문 금지 규칙과 달리 2.0에서는 시뮬레이션 사용자가 마련되어 모호하거나 빠진 정보를 물어볼 수 있습니다. 따라서 이 과제는 화면 읽기만이 아니라 출처 간 대조, 중간 상태 감시, 불확실성에 대한 능동적 확인을 한 흐름 안에서 측정합니다.

열 가지 난제와 자체 호스팅 환경

OSWorld 2.0은 교차 출처 추론, CAD·Blender 같은 Virtual-Special 작업, 앱 이름을 알려주지 않는 암묵적 상태 추론, 서로 충돌하는 화면과 HTML 정보, PDF·블로그·영상 튜토리얼 추종을 난제로 포함합니다. 여기에 작업 중 바뀌는 Dynamic Environment, 움직이는 화면을 다루는 Streaming Task, 이상한 개인 ID를 발견하고 사용자에게 확인하는 Proactive Interaction도 추가했습니다. 실제 인터넷은 사이트 변경으로 평가가 흔들릴 수 있어 팀은 31개 웹사이트를 자체 호스팅하고, 작업마다 평균 27개 Checkpoint를 배치해 최종 상태를 세분화했습니다. LLM Judge는 시각적 정보나 가상 정보를 안정적으로 판정하기 어려워 전체 점수의 50% 미만만 차지하며, 나머지는 명시적 Checkpoint와 안전성 기준으로 보완합니다.

작업 제작과 검증 절차

작업 아이디어는 도메인 전문가 인터뷰, 초기 아이디어 수집용 설문, 연구팀의 일상 업무, 실제 컴퓨터 사용법을 다룬 YouTube 튜토리얼과 블로그에서 수집했습니다. Annotator는 도메인 전문가와 반복적으로 작업을 고쳐 여러 단계와 현실적인 방해 요소를 추가했고, 영상 튜토리얼은 배경 지식만으로 풀 수 없으며 GUI 외의 우회 해법이 없고 현재 에이전트가 처리할 수 있는 길이인지 확인했습니다. 완성된 작업은 다른 에이전트가 실제로 수행한 궤적을 펼쳐 검토한 뒤, 사람이 결과와 점수 기준을 다시 대조했습니다. 이 절차는 단순히 어려운 문제를 모으는 데서 끝나지 않고, 작업의 실행 가능성과 채점 타당성을 함께 확인하는 구조입니다.

Claude와 GPT의 성능 분화

결과에서는 정확도와 효율이 서로 다른 축으로 갈렸으며, Claude Opus는 더 높은 정확도를 보인 반면 GPT 모델은 더 적은 출력 토큰으로 낮은 수준의 결과에 도달해 비용과 생성 시간 측면에서 유리했습니다. 사람이 완료하는 데 걸리는 예상 시간이 길어질수록 에이전트 정확도는 직접적으로 하락해, 긴 작업 자체가 성능 저하의 강한 신호가 됐습니다. 논문 작성 당시 최고 모델인 Claude Opus 4.8은 완전 성공 20.6%, 부분 점수 54.8%였지만, 발표 24시간 이내 공개된 Claude Fable 5.1은 부분 점수 60% 이상과 완전 성공 45% 이상을 기록했습니다. 영역별로는 Claude가 Dynamic Environment와 Cross-Source Reasoning 같은 에이전트 중심 과제에서 앞섰고, GPT는 Virtual-Special 작업과 Multimodal Editing에서 상대적으로 나은 결과를 냈습니다.

실패 원인과 안전성 평가

반복되는 실패는 긴 지시와 환경 정보 중 일부를 놓치는 정보 누락, 복잡한 튜토리얼과 낯선 앱을 처리하지 못하는 인식 문제, 끝나지 않은 작업을 완료로 착각하는 검증 문제, 초반에 읽은 값을 수백 단계 뒤에 잊는 기억 문제로 구분됩니다. 에이전트는 어려운 핵심 Checkpoint를 맞히고도 초반 숫자를 잊어 단순한 후속 입력에서 틀릴 수 있으며, 현재 평가는 최종 가상 머신 상태만 보므로 Checkpoint를 순서대로 채웠는지는 강제하지 않습니다. 안전성 측면에서는 GitLab에 API key를 커밋하지 않는 정보 보호, 파일 삭제 같은 부작용 회피, 위험한 모방 웹사이트를 알아보고 클릭하지 않는 행동을 별도 Checkpoint로 평가합니다. 발표자는 화면을 한 번 보고 생각한 뒤 행동하는 현재 구조가 사고 중 나타난 팝업과 알림을 반영하지 못하며, 컴퓨터처럼 상태가 계속 움직이는 환경에는 새로운 인식·행동 방식이 필요하다고 보았습니다.

용어 해설

장기 작업 에이전트(Long-Horizon Agent): — 한 번의 짧은 명령이 아니라 수백 단계의 작업을 순서대로 수행하는 Computer-Use Agent입니다. 앞 단계에서 얻은 정보를 기억하고, 여러 애플리케이션을 오가며 상태 변화를 감지한 뒤 다음 행동을 선택해야 하므로 단순한 클릭 자동화보다 높은 계획·기억·검증 능력이 필요합니다.
부분 점수(Partial Credit): — 전체 작업의 성공 여부만 0 또는 1로 판단하지 않고, 작업을 여러 Checkpoint로 나누어 완료한 비율을 측정하는 평가 방식입니다. 중요한 정보 입력이나 어려운 처리에는 더 높은 가중치를 부여해 긴 작업에서 에이전트가 실제로 어느 정도까지 수행했는지 드러냅니다.
암묵적 상태 추론(Implicit-State Inference): — 작업 지시문에 사용할 애플리케이션이나 현재 상태가 직접 적혀 있지 않을 때, 목표와 화면 정보를 바탕으로 적절한 도구와 다음 행동을 추론하는 과정입니다. OSWorld 2.0에서는 에이전트가 앱 선택 단계부터 스스로 해결해야 하므로 도구 선택과 계획 수립 능력을 함께 평가합니다.
교차 출처 추론(Cross-Source Reasoning): — Gmail, 은행 계정, 로컬 파일처럼 서로 다른 출처에 흩어진 정보를 모아 하나의 작업에 사용할 값을 결정하는 추론 방식입니다. 각 출처의 숫자와 기록을 대조하고 필요한 정보를 합성해야 하므로 단일 화면의 텍스트를 읽는 능력만으로는 충분하지 않습니다.
스트리밍 작업(Streaming Task): — 에이전트가 생각하는 동안 화면과 애플리케이션 상태가 계속 변하는 환경에서 수행하는 작업입니다. 스크린샷을 한 번 찍고 행동하는 기존 루프에서는 팝업이나 알림이 행동 직전에 나타날 수 있어, 오래된 화면 정보에 근거한 클릭이 현재 상태와 어긋날 수 있습니다.

기술

Computer-Use Agent
Gmail
Airbnb
GitLab
CAD
Blender
HTML
LLM Judge
YouTube

언급된 리소스

논문OSWorld 2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks

DemoOSWorld 2.0

GitHubOSWorld-V2

문서원문 링크