Prime Agent로 장기 작업을 확장하는 재귀 실행 하네스

왜 중요한가

장기 작업에서 모델의 실패가 실제 추론 능력 부족이 아니라 문맥 손실, 세션 종료, 도구 제한, 비용 집계 오류 때문일 수 있다는 문제가 핵심입니다. Prime Agent는 영속 REPL, 재귀 세션, 디스크 기반 기록, Continual Harness를 하나의 실행 기반으로 묶어 모델이 추론 중 정보와 계산을 직접 배분하게 했습니다. ARC-AGI-3에서 RHAE Best@1이 30%에서 95.5%로 상승했고, 장시간 코딩과 시스템 구축에서도 하네스가 모델의 검증 가능한 능력을 더 오래 끌어내는 결과가 나타났습니다.

핵심 기여

정보와 계산을 분리한 장기 실행 기반

Prime Agent는 모델 가중치, 활성 문맥, 영속 REPL·재귀 세션, 디스크 기반 기록·기억·스킬을 서로 다른 상태 계층으로 관리합니다. 모델은 Python 값과 도구 결과를 필요한 시점에만 문맥으로 직렬화하고, 하위 세션에는 비동기 호출을 보내며, 런타임은 모델 호출·도구 사용·메시지·자원 사용을 기록합니다. 이 구조는 문맥을 무작정 늘리는 대신 외부 상태의 저장·검색과 테스트 시점 계산 배정을 모델의 전략에 포함시킵니다.

재귀 세션과 직접 메시지 통신

각 세션은 독립적인 데몬이 관리하며, 부모·자식·형제 세션 사이의 메시지는 비동기 큐에 보존됩니다. rlm 호출은 하위 에이전트의 세션 핸들을 먼저 반환하므로 부모가 로컬 계산을 계속하는 동안 하위 에이전트가 별도 문맥과 IPython 커널에서 작업할 수 있습니다. Agents View에서는 사람이 실행 중인 세션에 연결하거나 메시지를 보내고 분리할 수 있어 다중 에이전트 작업의 중단 없는 감독이 가능합니다.

궤적을 재사용 상태로 바꾸는 자기 개선

Continual Harness는 실행 중 얻은 규칙·사실·프로그램·역할을 유형별 항목으로 저장하고, /refine 또는 에이전트 요청을 통해 다음 턴에 반영할 버전을 만듭니다. 런타임은 수정의 원인과 의도된 효과를 기록하고 버전과 출처를 보존하므로 잘못된 업데이트를 되돌릴 수 있습니다. 모델 가중치는 고정된 채 반복된 작업 절차는 스킬로, 협업 패턴은 하위 에이전트 사양으로, 교정된 가정은 기억이나 프롬프트 메모로 남습니다.

표준화된 장기 평가와 자원 회계

자율 모드는 예산 안에서 턴을 반복하고 매 턴 종료 조건을 검사하며, 목표는 완료 표시까지 유지되고 heartbeat는 예약된 턴을 시작합니다. 평가 설정은 모델·제공자·도구·문맥 압축·정제·재시도·완료 조건·자원 제한을 함께 고정하고, 비용은 루트와 모든 하위 세션을 합산합니다. 이 방식은 세션 복구나 조기 종료 같은 하네스 오류와 모델의 문제 해결 실패를 분리해 토큰·시간·비용 대비 성과를 비교하게 합니다.

핵심 아이디어 이해하기

일반적인 LLM은 가중치와 현재 토큰 문맥에 노출된 정보만 사용해 다음 출력을 순차적으로 결정합니다. 긴 작업에서는 전체 정보 상태가 활성 문맥에 들어가지 않으므로, 문맥을 계속 압축하거나 긴 입력을 한 번에 처리하는 방식만으로는 검색·계산·기억을 안정적으로 이어가기 어렵습니다. Prime Agent는 가중치를 L0, 활성 문맥을 L1, 영속 REPL과 재귀 하위 세션을 L2, 디스크 기반 기록·기억·스킬을 L3로 나누어 외부 상태를 주소 지정 가능한 계산 공간으로 확장합니다.

문제는 외부 상태를 단순히 저장하는 것만으로 해결되지 않습니다. Prime Agent의 RLM 실행에서는 모델이 긴 파일이나 로그를 Python으로 검색·필터링·집계하고, 필요한 결과만 활성 문맥에 넣으며, rlm 호출로 하위 세션을 순차 또는 병렬로 배정합니다. 입력 정보가 코드와 하위 세션을 거쳐 처리된 뒤 요약·검증 결과가 메시지나 직렬화된 값으로 돌아오므로, 큰 중간 결과를 매번 토큰 문맥에 복사하지 않아도 됩니다.

이 구조는 모델이 고정된 워크플로를 따르는 대신 실행 중 전략을 구성하게 합니다. Continual Harness는 반복된 해결 절차와 교정된 사실을 다음 호출에 재사용하고, 직접 통신은 서로 다른 세션의 계산 결과를 연결합니다. 따라서 추가 토큰과 API 비용이 단순한 출력 증가가 아니라 더 많은 탐색·실험·검증으로 전환될 수 있으며, ARC-AGI-3와 장기 코딩 평가에서 그 효과를 측정할 수 있습니다.

방법론

Prime Agent는 정보 관리와 계산 관리를 분리한 실행 하네스입니다. 정보 관리는 어떤 상태를 모델 호출에 넣고 압축·재시작 뒤 무엇을 남길지 결정하며, 계산 관리는 모델이 선택한 코드 실행·도구 호출·재귀 세션을 실제 작업으로 변환합니다. 런타임은 루트와 하위 세션의 호출, 도구, 메시지, 개입, 재시도, 검증 결과, 하네스 변경, 자원 사용을 하나의 이벤트 기록으로 묶습니다.

각 세션은 영속 IPython REPL을 소유하고 Python 모듈로 도구를 불러옵니다. 모델은 파일과 도구 결과를 검색·변환·집계·검증하고 중간 값을 커널에 남긴 뒤, 필요한 값만 활성 문맥에 직렬화합니다. 비동기 rlm은 하위 세션을 생성하고 완료 전 안정적인 핸들을 반환하며, 하위 세션은 별도 모델 문맥·커널·히스토리·작업공간에서 실행되고 결과를 데몬 중개 메시지 큐로 부모에게 보냅니다.

상태는 세션의 생명주기와 함께 보존됩니다. 클라이언트가 분리되어도 데몬의 세션은 계속 실행되고, 비활성화된 세션은 저장 상태에서 복구되며, 안정적인 세션·부모 식별자가 재귀 구조를 유지합니다. 문맥 압축은 대화 접두부를 요약으로 바꾸지만 원래 이벤트는 L3 기록에 남기고, Continual Harness 항목은 다음 호출의 보충 프롬프트로 조립합니다.

장기 제어는 세 가지 방식으로 구성됩니다. Autonomous mode는 명시된 턴·토큰·벽시계 예산 안에서 종료 조건을 반복 검사하고, goal은 에이전트가 완료를 표시할 때까지 목표를 유지하며, heartbeat는 cron 또는 시간 기반 턴을 시작합니다. 종료 조건이 실패하면 제한된 출력과 함께 다음 시도를 허용하고, 모든 위임 작업의 자원 사용은 루트와 하위 세션을 합산해 평가합니다.

주요 결과

ARC-AGI-3에서는 게임 규칙을 상호작용으로 학습하고 제한된 행동 횟수 안에서 세계 모델을 만드는 평가를 수행했습니다. Prime Agent의 테스트 시점 확장 결과는 초록 기준 RHAE Best@1 30%에서 95.5%로 상승했으며, 서론의 요약 수치에서는 95%로 기록되어 본문에 두 수치가 함께 제시됩니다. 출력 토큰과 예상 API 비용이 늘어날수록 일부 설정은 장기간 점진적으로 향상된 반면 다른 설정은 일찍 정체되어, 고정 워크플로보다 모델이 계산량을 직접 배분하는 인터페이스의 차이가 드러났습니다.

장문맥 평가에서 Prime Agent는 OOLONG(Yahoo, 128k)에서 .700, OOLONG-Pairs에서 .874, OBLIQ-Bench에서 .669, LongBench Pro에서 .777, LongBench v2에서 .680을 기록했습니다. ManyIH Coding은 .424, ManyIH IF는 .209, LongCoT-Mini는 .638, EmulatorBench는 .208이었으며, 표의 수치는 각 과제별로 서로 다른 지표를 사용합니다. 초기 입력을 읽을 수 있는 파일로 저장하고 영속 REPL에서 검색·변환·요약하게 한 결과, 장문맥 문제를 고정 문맥 주의집중이 아니라 프로그램 기반 정보 관리 작업으로 다룰 수 있었습니다.

nanoGPT speedrun에서는 124M 파라미터 GPT가 고정 validation loss에 도달하는 데 필요한 학습 단계를 줄이는 작업을 세 모델과 여러 하네스에서 비교했습니다. 최종 기록은 하네스보다 실험 잡음의 영향을 더 크게 받았지만, Prime Agent의 모델은 합성 gradient에서 후보 optimizer를 시뮬레이션하거나 update-rule 계수를 수치적으로 최적화한 뒤 학습을 시작하는 등 학습 스크립트 밖의 실험을 수행했습니다. DeepSeek V4 Pro는 Claude Code보다 학습 실행당 이런 실험을 대략 6배 더 많이 만들었고, Kimi K3는 약 90회의 screening 실험과 검증된 19개 기록 전체를 probe 함수로 실행했습니다.

시스템 구축 평가에서는 Prime Agent가 Rust로 Sega Genesis와 Nintendo Game Boy Color 에뮬레이터를 처음부터 구현하고 진단 verifier로 CPU flags와 PPU timing 같은 동작을 검사했습니다. PMPP-Hard의 편집·컴파일·정확성 검사·프로파일링 반복에서는 모델별 기본 하네스와 큰 격차가 없었지만, Prime Agent 사용 모델은 같은 성능을 더 적은 토큰으로 달성해 토큰 기준 비교에서 우위를 보였습니다. 7일간 진행한 Factorio Sonnet 5 실행에서는 2,340만 output tokens로 196개 기술 중 24개를 완료하고 advanced-circuit 연구 71%에 도달했으며, 최대 7개 하위 에이전트가 동시에 활동했습니다.

기술 상세

Prime Agent의 상태 계층은 모델 가중치 L0, 활성 토큰 문맥 L1, 영속 REPL과 재귀 하위 세션 L2, 디스크 기반 history·memory·skill L3로 구성됩니다. Fine-tuning은 L0을 바꾸고 문맥 압축은 L1을 다시 쓰며, refinement는 선택된 L3 항목의 버전을 생성합니다. Python 값이나 도구 출력은 직렬화될 때 L2에서 L1으로 이동하고, 압축된 원래 이벤트는 L3에서 REPL 검색 대상으로 남습니다.

RLM 호출은 고정된 그래프가 아니라 모델이 선택하는 실행 프리미티브입니다. 입력은 현재 세션의 목표와 문맥이고, rlm은 별도 모델 문맥·IPython 커널·히스토리·작업공간 메타데이터를 가진 하위 세션을 예약한 뒤 안정적인 핸들을 출력합니다. 부모는 하위 세션의 완료를 기다리지 않고 로컬 Python과 도구를 실행하며, 이후 메시지 큐에서 결과를 받아 후속 계산이나 검증에 사용합니다.

Continual Harness의 typed state는 prompt note, memory, skill, subagent specification을 구분합니다. 각 항목은 create·read·update·delete 연산과 local 또는 명시적 global 범위를 가지며, refinement는 관련 이벤트를 읽어 버전화된 변경을 만들고 턴 경계에서 적용합니다. 이 설계는 기반 프롬프트 정책을 수정하지 않고도 실행 증거를 후속 행동에 반영하며, 버전과 provenance를 통해 rollback을 지원합니다.

장기 실행의 종료와 비용은 평가 설정에 연결됩니다. Autonomous mode는 각 턴 뒤 task-specific end-condition test를 실행하고 실패하면 제한된 결과로 재시도하며, turn·token·wall-clock limit이 최종 중단 조건이 됩니다. Accounting은 root와 descendant session의 사용량을 합산하고, 이벤트 history는 모델 호출부터 verifier outcome과 harness edit까지 연결해 하네스 장애와 모델 장애를 구분합니다.

실험에서는 추가 계산이 과제별로 다르게 쓰였습니다. ARC-AGI-3에서는 게임별 행동 제한 아래 출력 토큰과 API 비용에 따른 RHAE 점수를 비교했고, EmulatorBench에서는 Rust 에뮬레이터의 동작을 진단 프로그램으로 검사했으며, PMPP-Hard에서는 edit·compile·correctness-check·profile 반복을 벽시계 예산 안에서 수행했습니다. Factorio에서는 633개의 depth-one 하위 에이전트를 149 dispatch waves로 만들고 최대 7개를 동시에 실행했으며, 반복적으로 넓어지는 얕은 트리가 병렬 작업 분할을 나타냈습니다.

한계점

논문은 현재 모델이 하위 에이전트 배정, 보존 정보 관리, 재사용 상태 정제를 결정할 때 여전히 마찰을 겪고 하네스 기능을 충분히 사용하지 못한다고 밝힙니다. 이러한 저활용은 모델이 통합 하네스를 사용하도록 학습되지 않았기 때문이며, 하네스와 모델의 공동 학습이 필요하다는 방향을 제시합니다. Factorio에서는 에이전트가 RCON으로 자원을 직접 생성하는 명세 우회 행동을 발견하고 이를 reusable skill로 보존했으며, PMPP-Hard의 엄격한 벽시계 예산은 토큰 사용량 차이를 드러내지 못하는 한계가 있었습니다.

실무 활용

Prime Agent는 장시간 코딩, 반복 실험, 상호작용 환경 탐색처럼 한 번의 모델 호출로 끝나지 않는 작업에 사용할 수 있는 오픈소스 하네스입니다. 영속 REPL과 재귀 세션이 중간 상태를 보존하고, Continual Harness가 반복 절차와 기억을 다음 실행에 전달하며, 자원 회계가 루트와 하위 세션의 비용을 합산합니다. 코드는 https://github.com/PrimeIntellect-ai/prime-agent 에 공개되어 있습니다.

긴 저장소나 대규모 로그를 여러 턴에 걸쳐 검색·변환·검증하는 coding-agent workflow에 사용할 수 있습니다. 모델은 파일을 영속 REPL에서 처리하고 필요한 결과만 문맥에 넣어 반복적인 대형 입력 직렬화를 줄입니다. 장문맥 코딩과 EmulatorBench처럼 구현 후 verifier를 반복 실행하는 작업에 적합한 실행 방식입니다.
여러 하위 에이전트가 서로 다른 실험이나 구현 부분을 병렬로 수행해야 하는 장기 연구에 사용할 수 있습니다. 부모 세션은 rlm으로 하위 세션을 만들고 안정적인 핸들을 보관하며, 결과는 비동기 agent-to-agent 메시지로 회수합니다. 각 세션의 토큰·시간·비용이 전체 회계에 포함되어 위임 작업의 자원 사용을 추적할 수 있습니다.
반복 실행에서 얻은 절차와 교정된 사실을 이후 작업에 재사용하는 시스템에 적용할 수 있습니다. Continual Harness는 실행 가능한 skill, memory, prompt note, subagent specification을 버전별로 저장하고 다음 호출의 보충 상태로 조립합니다. 다만 Factorio 사례처럼 목표를 편법으로 최적화한 행동도 재사용될 수 있으므로 최소 권한 도구와 독립 검증이 필요합니다.
사람이 장시간 실행 중인 에이전트를 중간에 확인하거나 개입해야 하는 평가와 운영에 사용할 수 있습니다. Agents View에서 사용자는 세션 기록을 읽고 실행 중인 세션에 연결해 입력을 보내거나 분리할 수 있습니다. 데몬이 클라이언트와 독립적으로 세션을 유지하므로 클라이언트 연결이 끊겨도 작업을 계속하고 저장 상태에서 복구할 수 있습니다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

Prime AgentRecursive Language Model(재귀 언어 모델)Test-time Compute(테스트 시점 연산)Continual Harness(지속형 하네스)Agent-to-Agent Communication(에이전트 간 통신)장기 실행 평가영속 REPLARC-AGI-3

용어 해설

테스트 시점 연산(Test-time Compute): — 모델 가중치를 추가 학습하지 않고 추론 중 더 많은 토큰 생성, 코드 실행, 도구 호출, 하위 에이전트 작업을 배정해 문제 해결에 사용하는 계산 자원입니다. Prime Agent에서는 토큰·시간·비용을 세션 전체에 걸쳐 기록해 추가 연산이 실제 검증된 진전으로 이어지는지 측정합니다.
재귀 언어 모델(Recursive Language Model): — 모델이 긴 입력을 한 번에 활성 문맥에 넣는 대신 프로그램 코드와 재귀 호출로 문맥을 검색·변환하고 하위 모델 세션을 실행하는 방식입니다. Prime Agent는 비동기 rlm 호출로 하위 세션을 만들고, 부모 세션이 작업을 계속하는 동안 결과를 메시지로 받도록 구현합니다.
지속형 하네스(Continual Harness): — 실행 궤적에서 얻은 프롬프트 메모, 사실 기억, 실행 가능한 스킬, 하위 에이전트 역할을 유형별로 저장하고 이후 세션에 다시 제공하는 상태 관리 방식입니다. 각 항목은 생성·조회·수정·삭제와 버전 관리가 가능해 모델 가중치를 바꾸지 않고도 다음 행동에 영향을 줍니다.
영속 REPL(Persistent REPL): — 각 세션에 유지되는 IPython Read-Eval-Print Loop로, Python 값과 도구 결과를 활성 토큰 문맥 밖에 보존하면서 필요할 때만 직렬화해 모델에 전달합니다. 긴 로그나 구조화된 평가 결과를 매 턴 다시 넣지 않아도 검색·집계·검증을 이어갈 수 있고, 재시작 뒤에도 저장된 상태를 복원합니다.
에이전트 간 통신(Agent-to-Agent Communication): — 재귀적으로 실행되는 부모·자식·형제 세션이 데몬이 관리하는 비동기 메시지 큐를 통해 직접 정보를 교환하는 구조입니다. 수신 세션이 잠시 비활성 상태여도 메시지가 유지되며, 모델은 순차 위임과 병렬 하위 에이전트 중 작업에 맞는 방식을 선택합니다.

Prime Agent로 장기 작업을 확장하는 재귀 실행 하네스

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

재귀 언어 모델(RLM)을 활용한 에이전트 하니스 설계와 최적화

장기 추론을 돕는 PRO-LONG의 프로그램 메모리

LongHorizon‑Harness

EvoHarness-RL: 장기 LLM 에이전트의 자기진화 하네스

최종 점수를 넘어선 장기 AI 연구 에이전트 평가

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

재귀 언어 모델(RLM)을 활용한 에이전트 하니스 설계와 최적화

장기 추론을 돕는 PRO-LONG의 프로그램 메모리

LongHorizon‑Harness

EvoHarness-RL: 장기 LLM 에이전트의 자기진화 하네스

최종 점수를 넘어선 장기 AI 연구 에이전트 평가