OneDayAgent 하네스

왜 중요한가

장기·교차환경·멀티모달 일상 요청은 수십 단계에 걸쳐 목표와 제약을 유지해야 하므로 단일 ReAct 실행으로는 목표 소실, 상태 이전 실패, 컨텍스트 과부하가 발생한다. OneDayAgent는 태스크 분해로 소단위를 만들고 실행 메모리로 핵심 증거와 체크포인트를 압축 보존하며 전역 검증과 국지 수리로 최종 산출물을 보정함으로써 이러한 실패 모드를 동시에 제어한다. 이 결과는 AgentIF-OneDay에서 GLM-5.2 백엔드를 사용해 0.821의 전체 점수를 기록하며 단일 하네스가 다양한 백엔드에서 안정적으로 동작할 수 있음을 보여준다.

핵심 기여

장기 실행 하네스 설계

OneDayAgent라는 통합 하네스를 제시해 태스크 분해, 실행 메모리, 전역 검증·수리라는 세 가지 실시간 기능을 한 워크플로에 결합했다. 하네스는 통일된 ReAct 행동공간을 통해 웹, 계산, 파일, 멀티모달 툴을 호출하고 소과업 경계에서 상태를 체크포인트로 전달해 긴 작업의 연속성을 유지한다.

AgentIF-OneDay에서의 성능 향상

AgentIF-OneDay 104개 과제 전체에서 GLM-5.2 백엔드를 쓰는 설정으로 전체 점수 0.821을 기록해 공개된 일반 목적 에이전트들보다 높은 성능을 달성했다. 결과는 과제 유형·도메인·평가지표와 첨부물 존재 여부 전반에서 우위를 보였고 지연·툴호출·컨텍스트 사용과 함께 평가되었다.

백엔드 불문 전이 가능성 증명

동일한 OneDayAgent 하네스를 튜닝 없이 Gemini, Qwen, GLM 등 다섯 가지 백엔드에 적용해 모두 유효한 성능을 얻었다. 점수는 0.613에서 0.821까지 분포했지만 하네스가 다른 모델 계열에서 동작 양상을 유지하며 각 모델이 서로 다른 실행 스타일(지연·툴호출·수리율)을 유도함을 관찰했다.

오픈소스 트라젝토리와 코드 공개

하네스 구현과 104개 과제 수행 트라젝토리를 공개 리포지토리로 제공해 재현성과 후속 연구를 지원한다. 공개 자료은 실험 재현과 하이브리드 구성 평가에 실용적 근거를 제공한다.

핵심 아이디어 이해하기

긴 일상적 작업은 단일 연속 ReAct 경로에서 초기 제약이 흐려지고 중간 상태가 환경 간에 전이되지 않으며 대화 컨텍스트가 창 크기를 초과해 실행이 중단되는 세 가지 실패 모드를 만든다. 이를 완화하려고 OneDayAgent는 최초 사용자 요청을 글로벌 인텐트로 보관한 뒤 이를 달성할 목적의 유한한 소과업 목록으로 분해하고 각 소과업을 ReAct 루프로 실행해 툴 호출과 관찰을 통합한다. 중간 산출물과 첨부물은 소과업 답변 및 파일 핸들로 체크포인트화되고, 축약된 실행 메모리는 큰 관찰을 요약해 컨텍스트 예산을 지키며 최종 합성물은 전역 검증을 통해 누락을 찾아 국지적 수리로 보완한다.

방법론

입력은 원문 사용자 요청과 첨부 파일·이미지 등 멀티모달 증거이며 출력은 요청에 부합하는 최종 산출물이다. 워크플로는 Planner가 최대 6개까지 소과업을 생성하고 각 소과업을 ReAct 기반 Executor가 툴(검색, 방문, Python 실행, 파일 조작, 이미지 처리)을 호출해 처리하며 실행 결과는 서브태스크 답변과 워크스페이스 파일로 저장된다. 실행 중 컨텍스트 크기가 설정(논문은 0.9× 예산) 임계치를 넘으면 LLM이 기술 요약을 생성해 이전 라운드를 압축하고, 합성기(Synthesizer)가 모든 소과업 출력을 결합한 후보 산출물을 만든 뒤 전역 Verifier가 원요구와 교차검증해 결함이 있으면 Repair 루프를 실행한다. 구현 파라미터로는 128K 최대 토큰, 200 ReAct 반복, 온도 1.0, top-p 0.95, 타임아웃 7200초 등이 사용되었다.

주요 결과

AgentIF-OneDay 전체 104개 과제에서 GLM-5.2 백엔드를 쓴 OneDayAgent가 전체 점수 0.821을 기록해 비교 에이전트들을 앞섰다. 동일 하네스를 튜닝 없이 다섯 백엔드에 적용했을 때 점수는 0.613에서 0.821로 분포했고 GLM-5.2는 지연 3216.8, 평균 툴호출 51.6, 평균 컨텍스트 585.7KB 등 고비용 프로파일을 보였다. 실행 행태 분석에서 소과업 분해는 대부분의 과제를 2~4개 소과업으로 나누었고 35/104 과제에서 컨텍스트 압축이 트리거되었으며 합성 후 첫 검증 통과는 95/104, 수리로 복구된 과제는 6개로 나타났다. 절제된 제거 연구(ablations)는 분해와 검증이 각각 DIRECT(0.771) 대비 DECOMP/VERIFY 약 +0.033 점의 개선을 주고 둘을 결합한 FULL이 0.821을 얻어 상호 보완 효과를 확인했다.

기술 상세

하네스는 Planner→Executor(ReAct)→Synthesizer→Verifier→Repair의 순서로 동작하며 툴은 검색·웹 방문·학술 검색·Python/명령 실행·파일 읽기·멀티모달 처리로 그룹화되어 동일한 행위공간에서 호출된다. 실행 메모리는 검색 스니펫, 파일 미리보기, LLM 생성 기술 요약으로 구성된 요약형 보존을 사용하고 소과업 경계에서 답변과 결과 파일 핸들을 체크포인트로 전달한다. 컨텍스트 압축은 예산의 0.9배에서 LLM 요약을 트리거하고 최후에는 결정적 프루닝을 적용해 하드 리밋을 방지한다. 평가 설정은 온도 1.0, top-p 0.95, 최대 128K 토큰, 200 ReAct 반복, 최대 6개 소과업, 7200초 타임아웃이다.

한계점

실험은 AgentIF-OneDay 벤치마크(104개 과제)에 한정되므로 다른 긴 흐름 벤치나 실제 사용자 환경으로의 일반화는 추가 검증이 필요하다. 현재 구현은 워크스페이스 격리나 보안 샌드박스가 기본적으로 적용되어 있지 않아 민감 데이터나 명령 실행의 안전성 측면에서 주의가 필요하다. 또한 백엔드 모델에 따라 지연·툴 호출·수리율이 크게 달라지므로 비용·응답시간 제약이 있는 환경에서는 GLM-5.2 수준의 고비용 프로파일을 그대로 쓰기 어려울 수 있다.

실무 활용

OneDayAgent는 웹 탐색, 파일 편집, 코드 실행, 이미지 삽입 같은 멀티모달·교차환경 작업을 단계별로 처리해 신뢰 가능한 최종 산출물을 만들도록 설계되어 실제 데스크톱 편집, 리서치 리포트 작성, 수업 자료 준비 같은 일상 업무에 적용 가능하다. 워크플로가 소과업 단위로 구성되므로 긴 작업을 자동화하거나 반자동 보조 도구로 통합하기 용이하다.

파워포인트·문서 편집을 위한 자료 수집과 일괄 적용 자동화
문헌 조사 후 정리된 리포트·발표자료 생성 워크플로 자동화
멀티스텝 소프트웨어·데이터 파이프라인에서 검증·수리 루프 포함한 자동 실행

코드 공개 여부: 공개

코드 저장소 보기

키워드

장기-호라이즌 에이전트태스크 분해실행 메모리전역 검증 및 수리ReAct컨텍스트 압축AgentIF-OneDay

추가 이미지 분석

Infographic
이 인포그래픽은 실제 흐름에서 첫 소과업은 자료 수집이고 두번째는 PPT 수정이며 합성 단계에서 파일 누락을 보고하고 검증이 누락을 잡아내 수리 단계에서 프레젠테이션을 생성한 뒤 재검증으로 통과하는 구체적 사례를 보여준다. 문서의 워크플로 설명과 실험적 행태 관찰을 연결하는 근거로 활용할 수 있다.
사례 연구(‘Language of Flowers’ PPT 편집)의 트라젝토리를 카드 형식으로 배열한 시퀀스 다이어그램으로, 분해된 소과업, 합성에서의 실패 보고, 검증 지적에 따른 타깃 수리의 순서를 시각화하고 있다.

용어 해설

태스크 분해(Task Decomposition): — 장기·복합 요청을 실행 가능한 소단위로 나누어 각 소단위에 대해 짧은 지역 목표를 부여하고 전체 의도를 글로벌 인텐트로 유지하는 메커니즘이다. 구현은 Planner가 최대 6개 소과업을 생성하고 각 소과업은 독립된 ReAct 실행으로 처리되며 소과업 답변과 파일 핸들을 통해 상태를 전달한다. 이 방식은 긴 연쇄에서 목표 소실과 컨텍스트 과부하를 줄여 최종 산출물 완결도를 높인다.
실행 메모리(Execution Memory): — 결정에 실제로 필요한 정보만 유지하도록 관찰을 요약·검사해 보존하는 경량 상태 보관층이다. 구현은 검색 스니펫 구조화, 파일 미리보기, 소과업 체크포인트(답변 및 결과 파일 핸들)와 LLM이 생성한 기술 요약을 조합해 컨텍스트 예산을 지킨다. 이로써 긴 흐름에서 상태 이전과 툴 출력을 재사용할 수 있게 한다.
전역 검증 및 수리(Global Verification and Repair): — 합성된 후보 산출물을 원본 요청, 소과업 답변, 선언된 첨부물과 교차검증해 누락·불일치를 찾아내고, 결함 설명을 바탕으로 해당 파트만 재실행해 수리하는 흐름이다. 검증은 artifact 수준에서 수행되며, 수리는 전체 재실행 대신 국지적 ReAct 수리로 결함을 보완한다. 이 과정은 산출물의 전달 위험을 관찰 가능하고 회복 가능하게 만든다.
ReAct 루프(ReAct): — 모델이 관찰을 받고 추론을 거쳐 도구 호출을 결정하고 도구 출력을 다시 관찰에 통합하는 반복적 추론·행동 루프다. OneDayAgent는 각 소과업 실행을 ReAct 루프로 처리해 툴 호출과 환경 피드백을 즉시 반영하며, 수리 단계 역시 동일한 루프를 사용한다. 이 패턴은 툴 상호작용을 간결한 행위 공간으로 통합한다.
컨텍스트 압축(Context Compression): — 누적 대화·관찰이 백엔드 창을 압박할 때 과거 라운드를 LLM이 생성한 기술 요약으로 축약하거나 설정된 임계치에서 비가치 히스토리를 결정적 삭제로 정리하는 전략이다. OneDayAgent는 컨텍스트 예산의 0.9배에서 압축을 트리거하고, 긴 문서나 대용량 관찰은 요약된 증거와 원시 접두로 대체한다. 이를 통해 긴 작업이 창 크기 제한에 부딪히지 않고 이어지게 한다.