Apodex 1.1의 장기 작업 에이전트 확장

왜 중요한가

Apodex 1.1은 언어 모델의 성능을 단일 답변의 정확도보다 장기간 이어지는 실제 작업의 완료 능력으로 평가합니다. 파일과 검색 결과를 보존하고 코드를 실행하며, 실패한 분기를 복구하고, 증거와 산출물의 계보를 확인하는 실행 구조를 모델 학습과 런타임에 함께 연결했습니다. 35B 파라미터 Mini 모델에서도 Agent Team을 통해 FrontierFinance 50.2, FrontierScience-Research 51.7, APEX-Agents 27.7을 기록해 모델 크기만 키우지 않고 환경과 협업 구조를 확장하는 방향의 근거를 제시합니다.

핵심 기여

장기 작업을 완료된 산출물로 평가

Apodex 1.1은 프롬프트와 답변의 대응 대신 작업 공간, 도구 실행, 자원 예산, 배송 조건, 최종 검증을 포함한 task contract를 사용합니다. 모델은 관찰에 따라 계획을 수정하고 실패 뒤에도 독립적으로 유효한 작업을 보존해야 합니다. 따라서 성공 기준이 그럴듯한 문장이 아니라 검증 가능한 결과와 경로의 결합으로 이동합니다.

실행 가능한 환경의 확장

파일·검색·코드 세계를 서로 다른 상태 전이와 검증 경계가 있는 학습 환경으로 구성합니다. 파일 세계는 권위 있는 자료와 변환을, 검색 세계는 출처 수집과 주장 정렬을, 코드 세계는 실행·테스트·복구를 학습시킵니다. 각 궤적은 독립 검증과 재생 조건을 통과해야 학습 신호로 사용됩니다.

Agent Team 기반의 동적 협업

주 에이전트가 문제에 맞춰 하위 에이전트를 만들고 Task Board에 목표와 의존성을 기록합니다. 반환된 결과에 따라 우선순위를 바꾸고, 약하거나 논쟁적인 주장에만 추가 조사를 배정하며, 사용자의 실행 중 개입도 작업 상태에 반영합니다. 비동기 실행과 명시적 종료가 이미 끝난 작업을 보존하면서 남은 예산을 집중하게 합니다.

AgentOS와 통합 학습 루프

AgentOS는 파일, 검색 증거, 코드 로그, 산출물 색인, 의존성 그래프를 하나의 지속 상태로 묶습니다. 통합 SFT는 도구 사용과 협업의 초기 행동을 만들고, PIVOT-RL은 실패가 시작된 결정 지점에 국소적인 교정 학습을 적용합니다. 실행 실패와 벤치마크 오류는 Task Pipeline의 다음 환경과 과제를 정하는 입력으로 다시 사용됩니다.

35B 모델에서의 협업 효과

Apodex 1.1 Mini는 35B 파라미터 규모에서 ReAct와 Agent Team을 비교할 수 있는 결과를 제공합니다. Agent Team을 추가하면 FrontierFinance가 40.0에서 50.2, FrontierScience-Research가 45.0에서 51.7, APEX-Agents가 24.2에서 27.7로 상승합니다. 이 차이는 작은 모델에서도 조직화된 추가 추론이 복합 작업 성능에 기여함을 수치로 나타냅니다.

핵심 아이디어 이해하기

일반적인 Transformer 기반 언어 모델은 질문에 대한 답을 생성하는 데 강하지만, 실제 업무는 답변 한 번으로 끝나지 않습니다. 모델은 권위 있는 파일을 찾고, 검색 결과의 근거를 맞추고, 코드를 실행하며, 중간 산출물을 다음 단계의 입력으로 유지해야 합니다. 한 단계의 정답이 있어도 파일 상태가 틀리거나 출처 계보가 끊기거나 최종 배송 조건을 충족하지 못하면 전체 작업은 실패합니다.

Apodex 1.1은 작업을 입력 메시지와 출력 문장의 쌍이 아니라 상태가 변하는 실행 궤적으로 취급합니다. 작업 공간과 초기 목적이 주어지면 모델이 행동을 선택하고, 환경이 파일·코드·검색 상태를 갱신한 뒤 관찰을 반환합니다. 이후 모델은 새 관찰을 이용해 계획을 유지하거나 수정하고, 최종 상태와 실행 기록을 task-level verifier가 배송 조건에 맞춰 판정합니다.

긴 작업을 한 에이전트의 긴 대화 기록에만 넣으면 독립적인 하위 작업을 동시에 진행하기 어렵고, 앞선 결과와 이후 결정의 의존성도 흐려집니다. Agent Team은 목표를 Task Board의 항목으로 분해하고, 독립적인 분기를 병렬 실행한 뒤 반환된 증거와 산출물을 공유 상태에 붙입니다. 새로운 결과가 기존 가정을 무너뜨리면 영향을 받은 후속 항목만 다시 열고, 이미 인과적으로 독립적인 작업은 보존합니다.

이 구조의 핵심은 단순한 에이전트 수 증가가 아닙니다. Environment Scaling은 모델이 경험하는 상태 전이와 실패 조건의 범위를 넓히고, Agentic Coordination Scaling은 그 환경에서 수행할 작업의 조직 방식을 넓힙니다. AgentOS와 실행 하네스가 두 흐름의 상태와 출처를 묶기 때문에 학습 궤적에서 익힌 위임·복구·검증 행동이 실제 실행에서도 같은 계약으로 작동합니다.

방법론

Apodex 1.1은 파일, 검색, 코드 환경을 하나의 task contract로 묶습니다. 계약에는 초기 작업 공간, 정규화된 목표, 가능한 행동, 상태 전이, 관찰 인터페이스, 자원 예산, 배송 조건, 최종 검증기가 포함됩니다. 모델의 행동이 환경에 입력되면 작업 공간이 갱신되고 도구 응답이나 실패, 하위 에이전트 보고서가 다음 관찰로 돌아오므로, 학습 데이터는 정적인 답변이 아니라 실행 과정이 됩니다.

파일 환경은 여러 형식과 버전이 섞인 작업 공간에서 권위 있는 자료를 찾고 변환하도록 구성합니다. 검색 환경은 질의 작성, 후보 출처 선별, 참조 추적, 출처 간 조정, 충분한 근거에서 멈추는 과정을 요구하며 최종 답변뿐 아니라 출처 집합과 주장별 근거 연결을 정답 객체로 둡니다. 코드 환경은 저장소와 의존성을 수정하고 테스트를 실행하며, 기준 상태에서 실패해야 하는 테스트와 수정 후 통과해야 하는 테스트를 분리해 검증합니다.

환경 난이도는 파일이나 토큰 수를 균일하게 늘리지 않고 현재 정책의 실패 유형에 맞춰 조정합니다. 검색·파일 작업에서는 검사해야 하는 후보 수와 핵심 증거 전환 수를 도구 호출 예산으로 나눈 $rho_{acq}=(N_{cand}+N_{hop})/B_{tool}$ 를 획득 압력의 1차 좌표로 사용합니다. 예를 들어 후보와 증거 전환의 합이 12이고 도구 예산이 20이면 획득 압력은 0.6이 되며, 값이 커질수록 선별·탐색·상태 추적·중단 판단의 부담이 커집니다.

Agent Team의 주 에이전트는 먼저 Task Board에 제한된 목표와 의존성을 기록한 뒤 필요한 하위 에이전트를 동적으로 생성합니다. 각 분기는 결과를 완료 즉시 반환하고, 주 에이전트는 공유 상태를 갱신해 독립 작업을 계속하거나 영향을 받은 항목을 취소·재배정합니다. 실행 중 사용자의 추가 입력은 다음 모델 호출 전에 런타임이 작업 상태에 admission하며, 목표와 배송 조건을 바꾸지 않는 개입은 유효한 작업을 보존하고 조건을 바꾸는 개입은 새 task contract로 처리합니다.

검증은 생성보다 좁은 질문으로 수행합니다. 검증 에이전트는 전체 보고서를 다시 작성하지 않고 특정 주장, 근거, 배송 제약을 받아 반례 탐색, 독립 출처 대조, 이름·날짜·수치·수식 확인, 형식 준수 검사를 수행합니다. 이후 evidence graph가 검증된 주장과 반박된 주장을 구분하고, writer agent는 승인된 상태를 바탕으로 최종 산출물을 작성하며 근거가 끊긴 주장은 생략하거나 추가 작업으로 되돌립니다.

학습은 공통 SFT와 agentic RL로 구성됩니다. SFT는 추론, 검색, 파일 조작, 코딩, 수학, 과학·금융 업무, 도구 사용, 협업을 공통 상태 스키마에 맞춰 초기화하고, PIVOT-RL은 비생산적 전략·근거 부족·도구 오용·가정 수정 실패가 시작된 pivot에서 유용한 접두부와 실행 상태를 보존한 국소 연속 과제를 만듭니다. 불규칙한 길이의 궤적은 비동기 최적화로 먼저 끝난 것부터 학습에 투입되며, 런타임 실패와 전문가·사용자 피드백은 다음 Task Pipeline의 과제 선택에 반영됩니다.

주요 결과

Professional Work에서 Apodex 1.1은 GDPVal 69.5에서 ReAct, 78.8에서 Agent Team을 기록했고 APEX-Agents에서는 34.4와 38.5를 기록했습니다. GDPVal의 Agent Team 점수는 ReAct보다 9.3포인트 높고, APEX-Agents에서는 Apodex 1.0의 16.5보다 22.0포인트 높습니다. 이는 직업별 산출물 품질과 파일·애플리케이션을 가로지르는 장기 실행에서 각각 협업 효과와 버전 개선이 함께 나타난 결과입니다.

과학 연구에서는 FrontierScience-Research가 ReAct 55.0%에서 Agent Team 63.3%로 8.3포인트 상승했고, BioMysteryBench Human-difficult Set은 23.5%(4/17)에서 35.3%(6/17)로 상승했습니다. FrontierScience-Research는 물리·화학·생물 분야 60개 과제를 10점 루브릭으로 평가하며 7점 이상을 통과로 계산합니다. BioMysteryBench 결과는 이질적이고 잡음이 있는 생물학 데이터에서 증거 수집과 중간 결론 검증을 병렬화하는 효과가 더 직접적으로 드러남을 뜻합니다.

일반 추론과 검색에서는 Agent Team이 Humanity’s Last Exam 56.1, DeepSearchQA 92.4 F1을 기록해 ReAct의 53.2와 88.2 F1보다 높았습니다. 금융에서는 FrontierFinance가 ReAct 48.7에서 Agent Team 54.3으로 5.6포인트 올랐고, 220개 질의와 11,543개 전문가 작성 루브릭 항목을 사용했습니다. 추가 작업은 금융 증거 수집, 정량 분석, 검증을 서로 다른 분기로 나누고 결과를 통합하는 방식으로 점수에 기여합니다.

35B 파라미터 Apodex 1.1 Mini는 ReAct에서 FrontierFinance 40.0, FrontierScience-Research 45.0, APEX-Agents 24.2를 기록했으며 Agent Team에서 각각 50.2, 51.7, 27.7로 상승했습니다. 증가 폭은 10.2, 6.7, 3.5포인트입니다. 여러 상용 비교 모델의 파라미터 수가 공개되지 않았기 때문에 논문은 절대적인 모델 크기 우위가 아니라 선택된 비교군과 같은 성능 대역에 도달했다는 점으로 결과를 기술합니다.

기술 상세

작업 계약은 $mathcal{E}=(mathcal{W},W_0,q,mathcal{A},mathcal{T},Omega,mathbf{B},D,V_D)$ 로 표현됩니다. $mathcal{W}$ 는 작업 공간 상태의 집합이고 $W_0$ 는 초기 상태이며, $q$ 는 목표, $mathcal{A}$ 는 행동 집합, $mathcal{T}$ 는 상태 전이, $Omega$ 는 관찰 인터페이스, $mathbf{B}$ 는 턴·도구 호출·토큰·시간·동시 실행 예산, $D$ 는 배송 조건, $V_D$ 는 최종 검증기입니다. 행동 $a_t$ 를 상태 $W_t$ 에 적용하면 $W_{t+1}=mathcal{T}(W_t,a_t)$ 가 되고, 실행 결과는 $o_{t+1}=Omega(W_t,a_t,W_{t+1})$ 로 반환됩니다.

AgentOS는 상태를 $W_t=(F_t,Q_t,C_t,I_t,G_t,K_t)$ 로 구체화합니다. $F_t$ 는 파일 상태, $Q_t$ 는 검색된 증거, $C_t$ 는 실행 상태와 로그, $I_t$ 는 산출물 색인, $G_t$ 는 출처·행동·산출물의 의존성 그래프, $K_t$ 는 계획과 협업 제어 상태입니다. /inputs는 읽기 전용 입력, /workspace는 중간 작업, /outputs는 최종 배송 후보로 분리되며, 발행 세션은 정확한 파일 manifest와 단일 writer lease를 가져야 /outputs에 기록할 수 있습니다.

Task Board는 각 항목에 안정적인 식별자, 구체적 목표, 담당자, 의존성, 반환된 증거·산출물 참조, open·in_progress·resolved·cancelled 상태를 저장합니다. 실행 프로세스의 created·queued·running·reported 상태와 보드의 의미적 resolved 상태를 분리해, 프로세스가 끝났지만 결과가 불완전하거나 검증 대기 중인 경우를 표현합니다. 컨텍스트가 압축되어도 보드를 다시 주입하고, 계획 모드에서는 모든 활성 항목의 해결 또는 취소와 최소 한 개의 위임 분기 및 독립 검증을 최종화 조건으로 요구합니다.

장기 실행의 복구 구조는 컨텍스트 압력과 시간 예산을 분리해 처리합니다. 추론 엔드포인트가 보고한 토큰 사용량을 기준으로 오래된 도구 관찰의 본문을 먼저 제거하고, 충분한 여유가 생기지 않을 때만 오래된 중간 구간을 LLM으로 요약합니다. 소프트 데드라인이 다가오면 활성 에이전트가 결과를 통합하고 대기 시간을 남은 시간에 맞춰 줄이며, 이후 제한된 도구 없는 최종화 호출로 이미 완료된 작업에서 부분 결과를 회수합니다.

PIVOT-RL은 긴 궤적의 모든 행동에 동일한 보상을 배분하지 않습니다. 회고 분석으로 비생산적인 전략, 부족한 증거, 도구 오용, 가정 수정 실패가 시작된 pivot을 찾고, 그 지점까지의 유효한 접두부와 해당 실행 상태를 복원한 뒤 짧은 교정 힌트가 있는 연속 과제를 만듭니다. 힌트는 방향만 제공하고 학습 목표가 아니며 추론 때 제거되므로, 모델은 학습 시에는 실패 관련 구간에 집중하고 실제 사용 시에는 전체 과제를 독립적으로 풀어야 합니다.

검증과 배송은 모델의 자연어 출력과 분리됩니다. 최종 검증기 $V_D(W_0,W_H,\tau_H)$ 는 초기 상태, 최종 상태, 전체 실행 궤적을 입력으로 받아 점수·검사 벡터·구조화된 판정을 반환하고, 각 배송 조항은 코드 재계산, 출처 정렬, 파일 검사, 루브릭, 사람 검토 중 적절한 방식으로 판정됩니다. 산출물 manifest에 없는 파일을 최종 결과로 선언하거나 기준 스냅샷과 비교해 비어 있는 파일을 제출하는 경우를 성공으로 처리하지 않아, 실행과 검증 사이의 경계를 유지합니다.

한계점

논문은 BioMysteryBench Human-difficult Set에서 Apodex 1.1 Agent Team이 35.3%(6/17)를 기록했으며 Claude Opus 5의 보고값 49.4%보다 낮다고 명시합니다. AgentOS의 Task Board와 Agent Bus는 현재 작업자 프로세스에 귀속되며, 조정 상태와 파일 시스템을 원자적으로 함께 체크포인트하지 않습니다. 따라서 프로세스 재시작 뒤의 조정 상태 복구와 과거 시점으로의 파일 시스템 되돌리기는 현재 계약에 포함되지 않습니다.

실무 활용

Apodex 1.1은 파일, 검색, 코드 실행이 한 작업에 함께 필요한 장기 업무에 적합한 실행 구조를 제공합니다. GitHub 저장소와 Hugging Face 모델 컬렉션이 함께 제공되며, AgentOS의 지속 상태와 Agent Team의 비동기 분기를 활용해 조사·분석·산출물 제작을 하나의 검증 가능한 흐름으로 연결합니다.

여러 파일과 버전 기록에서 권위 있는 자료를 찾아 보고서·스프레드시트·기타 업무 산출물을 만드는 작업
검색 출처를 수집하고 주장별 근거를 연결해야 하는 과학·금융 조사
저장소와 의존성을 수정하고 테스트·실행 결과에 따라 오류를 복구하는 코딩 작업
여러 하위 연구를 병렬 수행한 뒤 증거와 검증 결과를 통합하는 장기 연구 과제

코드 공개 여부: 공개

코드 저장소 보기

키워드

Agentic Coordination Scaling(에이전트 협업 확장)Environment Scaling(환경 확장)AgentOS(장기 실행 런타임)Agent Team(동적 멀티에이전트 협업)PIVOT-RL(국소 궤적 강화학습)장기 작업 분해실행 궤적 검증비동기 통합

용어 해설

환경 확장(Environment Scaling): — 모델이 상호작용하며 학습하는 파일·검색·코드 실행 환경의 다양성, 충실도, 검증 가능성을 넓히는 접근입니다. 단순히 프롬프트 수를 늘리는 대신 상태 전이, 도구 실패, 자원 예산, 산출물 검증까지 포함한 실행 궤적을 학습 분포에 넣습니다. 이를 통해 모델이 정답 문장뿐 아니라 실제 작업 완료에 필요한 행동을 익히게 합니다.
에이전트 협업 확장(Agentic Coordination Scaling): — 여러 에이전트와 작업 분기를 통해 장기 작업을 분해하고 병렬 처리하며 결과를 통합하는 방식을 확장하는 기법입니다. Apodex 1.1은 위임, 비동기 결과 수집, 공유 계획 수정, 실패한 분기의 종료를 학습 궤적에 포함합니다. 고정된 에이전트 수가 아니라 목적이 변하는 동안 조율되는 유용한 작업량을 확장 변수로 삼습니다.
실행 하네스(Execution Harness): — 모델을 파일·검색·코드 환경과 연결하고 작업 공간, 산출물, 출처, 분기 상태와 완료 조건을 관리하는 공통 실행 계층입니다. 도구 호출과 관찰 결과를 기록하며 재생과 검증을 지원해 학습 시 궤적과 실제 실행의 계약을 맞춥니다. AgentOS와 함께 장기 작업에서 상태 보존과 실패 복구를 가능하게 합니다.
PIVOT-RL: — 긴 에이전트 궤적에서 전략이 잘못되기 시작한 결정 지점을 찾아 해당 구간에 학습 신호를 집중하는 강화학습 방식입니다. 유용한 접두부와 실행 환경 상태를 보존한 뒤 짧은 교정 힌트가 포함된 국소 연속 과제를 구성하고, 추론 시에는 힌트를 제거합니다. 늦은 실패가 전체 궤적의 보상으로만 표현되는 문제를 줄이는 데 목적이 있습니다.
작업 보드(Task Board): — 장기 작업의 하위 목표, 의존성, 담당 에이전트, 반환된 증거와 산출물, 해결 상태를 모델 컨텍스트 밖에 저장하는 조정 기록입니다. AgentOS는 보드의 상태를 주기적으로 다시 주입하고, 실행 중 보드 변경을 허용해 새로운 증거에 맞춘 재계획을 지원합니다. 모든 활성 항목의 해결 또는 취소를 최종화 조건으로 사용합니다.

Apodex 1.1의 장기 작업 에이전트 확장

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

그럴듯한 거짓말을 멈추는 법: 검증 중심 AI 연구 엔진 Apodex

Apodex Discovery의 발견형 AI 현실 벤치마크

실전 에이전트를 위한 아홉 가지 설계 원칙

실제 업무를 끝내는 Agent의 조건

LLM Agent 시스템을 그래프로 조직하는 방법

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

그럴듯한 거짓말을 멈추는 법: 검증 중심 AI 연구 엔진 Apodex

Apodex Discovery의 발견형 AI 현실 벤치마크

실전 에이전트를 위한 아홉 가지 설계 원칙

실제 업무를 끝내는 Agent의 조건

LLM Agent 시스템을 그래프로 조직하는 방법