Holo3: 컴퓨터 사용 능력의 새로운 지평을 열다

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

H Company가 자율 기업 구현을 위한 차세대 컴퓨터 사용 특화 모델인 Holo3를 공개했다. Holo3-122B-A10B 모델은 OSWorld-Verified 벤치마크에서 78.85%의 점수를 기록하며 기존 SOTA를 경신하고 업계 최고 수준의 성능을 입증했다. 이 모델은 전체 122B 파라미터 중 10B만 활성화하는 효율적인 구조를 채택하여 GPT-5.4나 Opus 4.6 같은 대형 폐쇄형 모델 대비 훨씬 낮은 비용으로 운영 가능하다. 특히 에이전틱 러닝 플라이휠과 합성 환경 팩토리를 통해 실제 기업 환경의 복잡한 다단계 작업을 학습한 것이 핵심적인 차별점이다.

배경

컴퓨터 사용(Computer Use) 에이전트의 기본 개념, Mixture-of-Experts(MoE) 아키텍처에 대한 이해, OSWorld 등 에이전트 성능 평가 벤치마크 지식

대상 독자

자율 에이전트 및 기업용 워크플로우 자동화를 연구하는 개발자와 AI 엔지니어

의미 / 영향

Holo3의 등장은 범용 LLM을 넘어 특정 도메인인 '컴퓨터 사용'에 특화된 모델이 비용과 성능 면에서 모두 우위에 설 수 있음을 보여줍니다. 특히 합성 데이터 생성과 강화 학습을 결합한 훈련 방식은 향후 전문화된 AI 에이전트 개발의 표준 모델이 될 가능성이 높습니다.

섹션별 상세

Holo3는 OSWorld-Verified 벤치마크에서 78.85%를 기록하며 컴퓨터 사용 능력 분야에서 새로운 성능 기준을 세웠다. 이는 기존의 대형 모델들을 능가하는 수치로 실제 데스크톱 환경에서의 제어 능력이 비약적으로 향상되었음을 의미한다. 122B 전체 파라미터 중 10B의 활성 파라미터만 사용하여 추론 효율성을 극대화했다. 이를 통해 기업은 고성능 에이전트를 경제적인 비용으로 프로덕션 환경에 도입할 수 있다.

비용 대비 OSWorld-Verified 점수를 나타내는 산점도 그래프이다. — ChartHolo3 모델군이 GPT-5.4나 Opus 4.6과 같은 경쟁 모델들에 비해 훨씬 낮은 출력 토큰당 비용($/M output tokens)으로 더 높은 성능 점수를 기록하고 있음을 보여준다. 특히 Holo3-122B-A10B가 가장 높은 위치에 자리 잡고 있어 가성비와 절대 성능 모두 우수함을 시각화한다.

에이전틱 러닝 플라이휠은 지각과 의사결정이라는 두 가지 핵심 기둥을 강화하기 위한 지속적인 피드백 루프 학습 파이프라인이다. 인간과 AI가 생성한 지시 사항을 바탕으로 합성 내비게이션 데이터를 생성하고 이를 강화 학습으로 정제하여 모델의 범용적 기술을 연마한다. 도메인 외 데이터 증강 기법을 적용하여 모델이 예상치 못한 사용자 인터페이스 변화에도 유연하게 대응하도록 설계했다. 결과적으로 다양한 디지털 환경에서 자율적으로 탐색하고 작업을 수행하는 기초를 마련했다.

합성 환경 팩토리는 코딩 에이전트를 활용해 실제 기업 시스템과 유사한 웹사이트와 작업을 자동으로 생성하는 독자적인 훈련 시스템이다. 시나리오 명세에 따라 웹사이트를 처음부터 프로그래밍하고 검증 스크립트를 통해 작업의 성공 여부를 끝까지 확인한다. Holo3는 이 가상 훈련소에서 수많은 실무 시나리오를 반복 학습하며 실전 대응 능력을 키웠다. 이는 데이터 부족 문제를 해결하고 모델의 신뢰성을 높이는 핵심 인프라 역할을 수행한다.

TechHub, NexusCRM, MailHub 등 다양한 웹 인터페이스 스크린샷 모음이다. — ScreenshotHolo3가 훈련받은 합성 환경의 예시를 보여주며 쇼핑몰, CRM, 이메일 서비스 등 실제 기업에서 사용하는 다양한 UI 요소를 모델이 이해하고 조작할 수 있음을 나타낸다. 이는 모델의 범용적인 인터페이스 대응 능력을 시각적으로 뒷받침한다.

Holo3 훈련을 위해 생성된 합성 환경의 추가 예시 이미지이다. — Screenshot모델이 실제 업무와 유사한 환경에서 학습되었음을 보여주며, 복잡한 레이아웃과 다양한 버튼, 폼 요소들을 포함한 웹 페이지들을 통해 모델의 지각 능력이 어떻게 단련되었는지 설명한다.

H Corporate Benchmarks는 4개 카테고리에 걸쳐 486개의 실제적인 다단계 작업을 포함하는 새로운 평가 스위트이다. 이커머스, 비즈니스 소프트웨어, 협업 도구 및 멀티 앱 설정 등 복잡한 워크플로우를 통해 에이전트의 실무 준비 상태를 측정한다. 특히 PDF에서 가격 정보를 추출해 예산과 대조하고 이메일을 발송하는 등의 장기 추론이 필요한 작업을 포함한다. 단순한 UI 인식을 넘어 상태와 의도를 유지하며 여러 앱을 넘나드는 고차원적 업무 수행 능력을 검증한다.

Holo3와 경쟁 모델들의 벤치마크 성능 비교표이다. — ChartOSWorld, WebArena 및 H Corporate의 세부 카테고리별 점수를 상세히 나열하고 있다. Holo3-122B-A10B가 대부분의 항목에서 Qwen3.5나 Claude Sonnet 4.6을 상회하는 수치를 기록하고 있음을 구체적인 데이터로 증명한다.

실무 Takeaway

Holo3-122B-A10B는 OSWorld 벤치마크 78.85%를 달성하여 현존하는 모델 중 가장 뛰어난 컴퓨터 제어 성능을 제공한다.
전체 122B 파라미터 중 10B만 활성화하는 MoE 구조를 통해 GPT-5.4 등 대형 모델 대비 운영 비용을 획기적으로 절감할 수 있다.
Holo3-35B-A3B 모델의 가중치가 Apache 2.0 라이선스로 공개되어 기업들이 자체적인 에이전트 시스템 구축에 즉시 활용 가능하다.

언급된 리소스

GitHubHolo3-35B-A3B on Hugging Face