하이퍼에이전트: 모든 계산 가능한 작업에서 스스로 개선되는 자가 참조형 AI 시스템

기존의 자기 개선 AI는 개선 방식이 사람이 만든 고정된 규칙에 갇혀 있었으나, 이 논문은 개선 메커니즘 자체를 AI가 스스로 수정할 수 있는 '하이퍼에이전트' 개념을 도입했습니다. 이를 통해 코딩뿐만 아니라 논문 리뷰, 로봇 제어 등 다양한 분야에서 AI가 스스로 성능을 높이는 '자기 가속화'의 실질적인 가능성을 입증했습니다.

기존의 자기 개선 AI는 '에이전트 A를 개선하는 메타 에이전트 B'가 있을 때, B의 로직은 사람이 고정해 두었기 때문에 B 자체는 발전할 수 없다는 한계가 있었다. 이를 해결하기 위해 더 상위의 메타-메타 에이전트를 추가하면 결국 무한 루프에 빠지게 된다. 본 논문은 이 문제를 해결하기 위해 에이전트가 자기 자신의 코드를 직접 읽고 수정할 수 있는 '자가 참조(Self-referential)' 개념을 핵심으로 삼는다.

딥러닝의 기초인 Gradient Descent가 가중치를 최적화하듯, 하이퍼에이전트는 자신의 '코드'라는 파라미터를 최적화한다. 이때 중요한 점은 코드를 수정하는 알고리즘 자체도 코드의 일부라는 것이다. 따라서 에이전트는 작업을 수행하면서 동시에 '어떻게 하면 더 효과적으로 코드를 고칠 수 있을지'에 대한 메타 전략을 스스로 프로그래밍하게 된다.

결과적으로 시스템은 시간이 지날수록 더 정교한 메모리 시스템을 구축하거나, 과거의 실패를 분석하는 도구를 스스로 만들어낸다. 이는 마치 인간이 학습을 통해 지식을 쌓는 동시에 '공부하는 법' 자체를 개선해 나가는 메타인지 과정과 유사하게 동작하며, 이를 통해 AI의 발전 속도가 인간의 개입 없이도 스스로 가속화될 수 있는 기반을 마련한다.

DGM-Hyperagents(DGM-H)는 Darwin Gödel Machine(DGM)의 개방형 탐색 구조를 계승하면서, 메타 레벨의 수정이 가능하도록 확장한 아키텍처이다. 전체 시스템은 Python으로 작성된 하나의 통합된 프로그램으로 관리되며, 에이전트는 이 코드베이스의 어떤 부분이라도 수정할 수 있는 권한을 가진다.

시스템은 '보관소(Archive)' 기반의 진화적 접근 방식을 사용한다. [현재 보관된 에이전트들의 성능 점수와 자식 생성 횟수를 입력으로] → [부모 선택 알고리즘을 통해 유망한 에이전트를 샘플링하고] → [선택된 부모 에이전트가 스스로의 코드를 수정하여 새로운 변종을 생성하며] → [이 변종이 유효한지 검증한 후 보관소에 추가하는] 과정을 반복한다. 이 과정에서 부모 선택 및 변이 생성 로직 자체가 에이전트에 의해 수정될 수 있다.

부모 선택 시에는 $w_i = s_i \cdot h_i$ 공식을 사용한다. [에이전트의 성능 점수 $\alpha_i$를 입력으로] → [Sigmoid 함수를 거쳐 0~1 사이의 확률값 $s_i$를 계산하고] → [여기에 생성된 자식 수 $n_i$에 반비례하는 보너스 $h_i = 1/(1+n_i)$를 곱하여] → [성능이 좋으면서도 아직 충분히 탐색되지 않은 에이전트가 부모로 선택될 확률을 높인다]. 이는 강화학습의 탐색-활용(Exploration-Exploitation) 균형을 맞추는 원리와 동일하다.

코딩 도메인(Polyglot)에서 DGM-H는 초기 에이전트의 성능 0.140을 0.340까지 끌어올렸으며, 이는 코딩에 특화되어 수작업으로 설계된 기존 DGM과 대등한 수준이다. 논문 리뷰 도메인에서는 초기 0.0점에서 시작해 0.710점까지 성능을 높였으며, 로봇 보상 설계에서도 0.060점에서 0.372점으로 비약적인 향상을 기록했다.

특히 주목할 점은 메타 레벨의 전이 성능이다. 논문 리뷰와 로봇 작업에서 학습된 '자기 개선 전략'을 가진 에이전트를 수학 채점(IMO-Grading) 도메인에 투입했을 때, 초기 에이전트보다 훨씬 빠른 속도로 성능을 개선했다. 실험 결과, 전이된 에이전트는 50회 반복 내에 0.630의 성능 이득(imp@50)을 보인 반면, 초기 에이전트는 거의 개선을 이루지 못했다.

또한, 에이전트가 스스로 개발한 '성능 추적기'와 '영구 메모리' 기능이 세대를 거듭하며 누적됨을 확인했다. 예를 들어, 55세대에서 너무 엄격했던 리뷰 기준이 66세대에서 너무 관대해지는 시행착오를 겪자, 시스템은 스스로 '명확한 거절 기준'과 '임계값 기반 의사결정 프로토콜'을 코드로 구현하여 67세대 이후의 성능을 안정화하는 모습을 보였다.

DGM-H의 핵심은 '메타인지적 자기 수정'을 통한 무한 개선 루프의 구현이다. 기존 시스템들이 고정된 프롬프트나 알고리즘으로 하위 모델을 최적화했다면, DGM-H는 Meta Agent 자체가 Task Agent와 동일한 코드 공간에 존재하며 스스로를 수정할 수 있는 튜링 완전한 환경을 제공한다. 이는 이론적으로 에이전트가 자신의 아키텍처, 도구 사용 방식, 심지어는 자신을 평가하는 기준까지도 바꿀 수 있음을 의미한다.

구현 측면에서 DGM-H는 대규모 언어 모델(LLM)을 엔진으로 사용하지만, 그 동작은 엄격하게 정의된 Python 코드에 의해 제어된다. 에이전트는 Bash 도구와 파일 편집 도구를 사용하여 자신의 소스 코드를 수정하고 실행할 수 있다. 모든 실행은 안전을 위해 격리된 샌드박스 환경에서 이루어지며, 리소스 제한(Timeout, 네트워크 차단 등)이 엄격히 적용된다.

연구팀은 에이전트가 생성한 코드 패치(Diff)를 분석하여, 시스템이 '성능 추적 인프라', '도메인 특화 지식 베이스', '다단계 의사결정 프로세스' 등을 자율적으로 개발했음을 확인했다. 이는 AI가 단순히 데이터로부터 패턴을 익히는 것을 넘어, 소프트웨어 엔지니어링 원칙(DRY 원칙, 팩토리 패턴 등)을 스스로 적용하여 자신의 시스템을 더 유지보수 가능하고 효율적으로 재설계할 수 있음을 보여준다.

본 연구의 DGM-H는 여전히 고정된 작업 분포 내에서 작동하며, 에이전트를 선택하는 외부 루프(Outer-loop)나 평가 프로토콜 자체는 아직 수정 대상에서 제외되어 있어 완전한 자기 참조에는 도달하지 못했다. 또한, AI가 스스로 코드를 수정하는 과정에서 발생할 수 있는 예기치 못한 부작용이나 안전성 문제를 완벽하게 통제하기 위해서는 더 정교한 샌드박싱과 감독 메커니즘이 필요하다.