에이전틱 시스템의 공진화와 자기주도 진화

왜 중요한가

배포 뒤에도 Agent가 계속 개선되려면 고정된 과제와 피드백 안에서 자기 상태만 갱신하는 방식의 한계를 넘어야 합니다. 이 논문은 상대 Agent, task, feedback, interaction space, 그리고 진화 규칙까지 서로 바꾸는 Co-Evolution을 하나의 틀로 묶어 자율적 개선의 범위를 확장합니다. 동시에 evaluator exploitation, partner overfitting, diversity collapse와 같은 실패 가능성을 짚어 성능 향상뿐 아니라 평가와 통제가 함께 필요하다는 기준을 세웁니다.

핵심 기여

Agentic 시스템 공진화의 세 단계 분류

문헌을 Agent–Agent Co-Evolution, Agent–Environment Co-Evolution, Meta Co-Evolution의 세 단계로 배열합니다. 첫 단계에서는 Agent와 조직 구조가 바뀌고, 둘째 단계에서는 task·feedback·interaction space까지 함께 변하며, 셋째 단계에서는 무엇을 언제 어떻게 어디서 진화시킬지와 평가 방식 자체가 갱신됩니다. 단계가 올라갈수록 인간이 미리 고정한 변화 범위가 줄어들어 open-endedness에 가까워지는 구조입니다.

상호작용과 공진화의 구분

두 구성 요소가 단순히 정보를 주고받거나 같은 환경에서 함께 행동하는 것만으로는 Co-Evolution으로 인정하지 않습니다. 서로 다른 두 단위가 모두 변하고, 한쪽의 변화가 다른 쪽의 다음 진화 조건을 다시 바꾸는 결합이 필요합니다. 이 기준으로 adversarial·collaborative Agent, adaptive task·feedback·world, 진화 메커니즘을 하나의 문헌 체계 안에서 구별합니다.

평가와 안전의 미해결 과제 정리

최종 task 성공률만으로는 모든 구성 요소의 개선, 새로운 partner와 environment로의 전이, 각 구성 요소의 기여도를 판단하기 어렵습니다. 따라서 historical cross-play, component ablation, held-out evaluator를 고정 benchmark와 함께 사용해야 하며 evaluator exploitation과 diversity collapse도 측정해야 합니다. 자율성이 커질수록 sandbox deployment, continuous monitoring, verified state로의 rollback, human intervention point가 필요합니다.

핵심 아이디어 이해하기

일반적인 self-evolution은 한 Agent가 경험과 feedback을 이용해 자신의 model backbone, memory, skills 또는 harness를 바꾸지만, 상대와 환경이 고정되어 있으면 새로운 학습 압력이 제한됩니다. Agent가 같은 난이도의 task와 같은 evaluator만 반복해서 만나면 이미 익힌 전략에 맞춰지고, 실패를 만들어낼 외부 조건도 줄어듭니다. 이 논문은 Red Queen effect를 근거로 한쪽만 계속 적응하는 대신 서로의 변화가 다음 문제를 바꾸는 구조가 필요하다고 봅니다.

Co-Evolution에서는 입력이 Agent들의 상태, 환경, trajectory이고, 처리 과정은 한 구성 요소의 업데이트가 다른 구성 요소가 마주할 난이도와 feedback을 다시 조정하는 순환입니다. 예를 들어 attacker가 새로운 jailbreak prompt를 만들면 defender가 이를 거부하도록 바뀌고, 강화된 defender 때문에 attacker는 이전 prompt가 아닌 새로운 공격을 찾아야 합니다. 따라서 출력은 단일 Agent의 점수가 아니라 서로의 학습 조건까지 바뀐 다음 상태입니다.

세 단계는 변화 대상의 범위를 넓힙니다. Agent–Agent Co-Evolution에서는 peer, opponent, collaborator와 조직 구조가 변하고, Agent–Environment Co-Evolution에서는 task sampling이나 generation, reward와 verifier, 실행 가능한 world까지 변하며, Meta Co-Evolution에서는 무엇을 바꿀지와 언제·어떻게·어디서 바꿀지·어떻게 평가할지까지 바뀝니다. 고정된 규칙 안에서 더 잘 적응하는 수준을 넘어 규칙이 새로운 적응 방향을 만들도록 하는 흐름입니다.

이 구조가 중요한 이유는 성능 plateau를 환경과 진화 메커니즘의 변경으로 깨려는 데 있습니다. 다만 진화 압력이 항상 유익한 방향으로 작동하는 것은 아니어서 evaluator를 속이는 전략, 특정 partner에만 맞춘 과적합, Agent 행동의 다양성 붕괴가 발생할 수 있습니다. 그러므로 지속적인 개선은 더 많은 구성 요소를 자동화하는 문제와 함께 과정 수준의 평가와 중단 가능한 거버넌스를 요구합니다.

방법론

논문은 Agentic system을 Agent collective A와 environment E의 결합으로 추상화하고, 각 Agent를 model backbone과 harness의 쌍으로 취급합니다. harness에는 memory, tools, skills, prompts, workflows가 포함될 수 있으며 backbone이 같아도 역할과 목표를 담은 harness가 다르면 서로 다른 Agent입니다. Agent의 내부 요소나 collective의 역할·통신 topology·division of labor를 나타내는 조직 구조가 바뀌면 진화가 발생합니다.

시스템의 변화는 trajectory에 기록된 thought–action–observation 순서와 evolution mechanism을 통해 진행됩니다. 이 메커니즘은 무엇을 바꿀지, 언제 업데이트할지, 어떤 variant를 만들지, 어느 실행 공간에서 바꿀지, 품질을 무엇으로 평가할지를 결정합니다. 논문은 단순한 상호작용이 아니라 최소 두 단위가 모두 변하고 서로에게 evolutionary pressure를 가하는 경우만 Co-Evolution으로 분류합니다.

Stage 1에서는 Agent collective 내부의 경쟁과 협력이 중심입니다. adversarial 구조는 attacker–defender나 generator–discriminator처럼 상대의 개선이 자신의 난도를 높이고, collaborative 구조는 shared reward, discussion trace, shared memory 또는 produce-and-revise loop를 통해 파트너의 개선에 맞춰 조정됩니다. 여기에 role assignment와 interaction structure까지 함께 바꾸는 evolving organization이 추가됩니다.

Stage 2에서는 environment의 변화가 다음 Agent 학습을 결정합니다. task-space 방법은 기존 task pool에서 현재 실패 영역을 재선택하거나 새로운 task와 validator를 만들고, feedback-space 방법은 preference, outcome, consistency 신호에 맞춰 reward·verifier·critic을 갱신합니다. interaction-space 방법은 실행 가능한 level과 world를 생성하거나 world model을 Agent와 함께 학습해 실제 환경에서 얻을 다음 observation과 feedback을 바꿉니다.

Stage 3에서는 lower-level ecosystem의 trajectory가 진화 규칙을 다시 쓰도록 합니다. 논문은 adaptive decision을 what, when, how, where, how to evaluate의 다섯 항목으로 분해하고, 메커니즘 갱신 뒤 그 규칙이 후속 Agent와 environment의 변화를 실제로 바꿔야 Meta Co-Evolution으로 인정합니다. 이 기준 때문에 PromptBreeder, Gödel Agent, HyperAgents, MemEvolve, SIA 같은 single-entity meta-evolution은 precursor로 분류되고, task Agent와 evaluator를 함께 진화시키는 RQGM이 더 가까운 사례로 배치됩니다.

주요 결과

논문은 새로운 단일 모델이나 학습 알고리즘의 수치 benchmark가 아니라 관련 연구를 단계별로 통합한 survey입니다. Figure 4의 cross-paper evidence를 바탕으로 Stage 1과 Stage 2가 여러 설정에서 성능을 높이지만 진화가 plateau에 가까워질수록 증가폭이 작아진다는 경향을 정리합니다. Meta Co-Evolution은 진화 메커니즘을 바꿔 새로운 학습 방향을 열 수 있는 후보로 제시되지만, 이를 충족하는 연구는 아직 제한적입니다.

문헌 사례에서 경쟁 압력은 attacker가 새로운 공격을 만들고 defender가 안전한 응답을 학습하도록 하며, 협력 압력은 shared reward·discussion·shared memory·role-specific feedback을 통해 각 Agent의 업데이트를 연결합니다. 환경 압력은 Agent의 실패나 현재 능력에 맞춰 task, reward, verifier, level, world model을 바꾸는 방식으로 구현됩니다. 이 입력–업데이트–재생성 순환이 고정된 상대나 과제만 반복하는 self-evolution과 구별되는 근거입니다.

저자들은 최종 성공률만 측정하면 evaluator exploitation이나 partner overfitting을 놓칠 수 있다고 정리합니다. 새로운 partner와 held-out environment에서의 전이, historical cross-play, component ablation, held-out evaluator를 함께 사용해야 각 요소의 개선과 상호 기여를 확인할 수 있습니다. 결론적으로 성능 수치의 단순한 상승보다 지속성, 일반화, 구성 요소별 기여, 안전한 중단 가능성을 함께 평가해야 합니다.

기술 상세

형식적 모델에서 시스템은 Agent collective A와 environment E로 구성됩니다. 각 Agent는 model backbone m과 harness h를 묶은 단위이며, 두 요소 중 하나라도 변하면 Agent 상태가 바뀐 것으로 셉니다. collective는 Agent들의 무순서 집합이 아니라 역할, 통신 topology, division of labor를 담은 조직 구조 Π와 함께 표현되므로 Agent 업데이트뿐 아니라 Π의 변경도 집단 진화에 포함됩니다.

기본 진화 과정은 $S^{t+1}=Omega(S^{t},tau^{t})$ 로 쓸 수 있으며, $S^{t}$ 는 시점 t의 Agent와 environment 상태, $tau^{t}$ 는 t까지의 thought–action–observation trajectory, $Omega$ 는 상태 전이를 결정하는 evolution mechanism입니다. 입력 상태와 trajectory를 받아 mechanism이 업데이트 대상·시점·variant 생성 방식·실행 위치·평가 기준을 적용하고 다음 상태를 출력합니다. 이 식 자체에는 고정된 숫자 예시가 없으며, 핵심은 trajectory가 단순 기록이 아니라 다음 변화의 입력으로 재사용된다는 점입니다.

Stage 1의 상태 전이는 environment를 고정한 채 Agent 집합과 조직 구조를 갱신합니다. attacker–defender에서는 attacker의 새 공격이 defender의 다음 학습 난도를 높이고, defender의 강화된 거부가 attacker가 탐색할 공격 공간을 바꿉니다. collaborative 구조에서는 shared reward, local 또는 joint history critic, interaction trace, shared memory가 여러 Agent의 업데이트를 연결하며, role-differentiated 구조에서는 producer의 출력과 verifier·critic의 수정 결과가 서로의 다음 행동을 조정합니다.

Stage 2는 environment 자체를 상태 전이의 일부로 추가합니다. task-space에서는 현재 competence나 failure mode를 입력으로 받아 task sampling weight를 바꾸거나 새로운 task specification과 validator를 생성하고, feedback-space에서는 preference pair·trajectory return·실행 실패·critic agreement를 이용해 reward와 verifier를 갱신합니다. interaction-space에서는 Agent 성능에 맞춰 level·simulation·tool state를 생성하거나 world model이 다음 observation을 예측해 실제 상호작용 비용을 줄이는 방향으로 policy와 함께 업데이트됩니다.

Stage 3에서는 lower-level trajectory와 현재 mechanism을 입력으로 받아 revision process Γ가 다음 evolution mechanism을 만듭니다. 새 mechanism은 무엇을 진화시킬지, 실패나 plateau 중 언제 갱신할지, backbone·harness·구조를 어떻게 바꿀지, tool use·web·robotics 중 어디서 실행할지, performance·novelty·safety·robustness 중 무엇으로 평가할지를 다시 정합니다. 논문이 말하는 open-endedness는 mechanism이 계속 달라지고 새로운 학습 방향을 열어야 한다는 조건이며, 실제 연구에서는 이 재귀적 변경과 무한한 adaptive capacity가 아직 충분히 검증되지 않았습니다.

한계점

논문은 survey의 범위 안에서 Meta Co-Evolution을 충족하는 연구가 아직 적다고 명시합니다. 따라서 Stage 3의 상당 부분은 evolution mechanism을 바꾸지만 lower-level co-evolving system과 연결되지 않은 single-entity meta-evolution precursor에 의존합니다. 안전·모니터링·human oversight도 구체적인 safeguard나 protocol로 operationalize하지 않고 필요한 조건으로만 남겨 둡니다.

실무 활용

이 survey는 Agent 시스템을 설계할 때 어떤 구성 요소를 함께 적응시킬지 결정하는 분류 기준으로 활용할 수 있습니다. 개발자는 opponent·collaborator, task·feedback·world, evolution mechanism을 분리해 현재 시스템이 어느 단계에 있는지 점검할 수 있습니다. 연구자는 최종 점수만 기록하지 않고 cross-play, ablation, held-out evaluator, rollback 조건을 포함한 실험 계획을 세울 수 있습니다.

Agent 안전 학습에서 attacker와 defender를 함께 갱신하고, 과거에 성공한 공격을 재생하는 평가 루프를 구성할 수 있습니다. attacker의 입력이 새로운 jailbreak prompt가 되고 defender의 거부 성능이 다음 공격 난도를 결정합니다. 단일 고정 red-team prompt에 맞춘 과적합을 줄이려면 새로운 공격 유형과 unseen evaluator에서 성능을 확인해야 합니다.
협력형 Multi-Agent 시스템에서 shared reward만 전달하지 않고 discussion trace, shared memory, role별 기여도를 업데이트 신호로 사용할 수 있습니다. Agent의 실행 로그와 실패 사례를 다른 Agent의 다음 업데이트에 반영하면 한 Agent의 경험이 collective 전체의 학습 조건을 바꿉니다. 역할 교대나 조직 구조 변경을 포함하면 고정된 workflow가 현재 task와 맞지 않을 때 구조 자체를 조정할 수 있습니다.
Tool-use·GUI·software engineering Agent에서는 실패 rollout을 바탕으로 새로운 task, validator, recovery feedback을 생성하는 환경 루프를 만들 수 있습니다. Agent의 입력은 실행 trace와 실패 상태이고, 처리 과정은 난도 조정이나 검증기 수정이며, 출력은 다음 학습에서 사용할 새로운 task와 feedback입니다. 반복적인 성공률만 보지 않고 실패 유형, held-out task, evaluator 일관성을 함께 기록해야 환경 변화가 실제 능력 향상으로 이어졌는지 판단할 수 있습니다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

Agentic Systems(에이전틱 시스템)Co-Evolution(공진화)Self-Evolution(자기 진화)Adversarial Adaptation(적대적 적응)Collaborative Adaptation(협력적 적응)Agent–Environment Co-Evolution(에이전트–환경 공진화)Meta Co-Evolution(메타 공진화)Open-Endedness(개방형 진화)

용어 해설

공진화(Co-Evolution): — 서로 다른 둘 이상의 구성 요소가 각자의 변화로 상대방이 받는 학습 압력과 다음 변화 조건을 바꾸면서 함께 적응하는 과정입니다. 단순한 정보 교환이나 상호작용과 달리 양쪽 모두의 상태가 변해야 합니다.
에이전틱 시스템(Agentic System): — 다른 Agent 또는 외부 환경과 자율적으로 상호작용하는 Agent 집합과 환경의 결합체입니다. 각 Agent는 모델 backbone과 memory, tools, skills, prompts, workflows 같은 harness로 구성되며, 이 요소나 조직 구조가 바뀌면 시스템도 진화합니다.
개방형 진화(Open-Endedness): — 시스템이 고정된 목표나 종착점으로 수렴하지 않고 새로운 변화 방향과 능력을 계속 만들어내는 성질입니다. 이 논문에서는 진화 메커니즘 자체가 변하고 적응 능력의 상한이 정해지지 않는 상태를 가리킵니다.
진화 압력(Evolutionary Pressure): — 한 구성 요소의 성능 향상이나 행동 변화가 다른 구성 요소가 해결해야 할 과제와 업데이트 방향을 바꾸는 힘입니다. 경쟁 상대의 공격, 협력자의 수정, 환경의 난이도 변화가 모두 다음 학습을 유도하는 진화 압력으로 작동합니다.
하네스(Harness): — Agent의 모델 backbone을 둘러싸며 실제 작업 방식을 결정하는 memory, tools, skills, prompts, workflows 등의 구성 요소입니다. 이 논문은 backbone뿐 아니라 harness의 변경도 Agent 진화로 간주해 단일 모델보다 넓은 진화 단위를 사용합니다.

에이전틱 시스템의 공진화와 자기주도 진화

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

AI 에이전트 아키텍처의 5단계 진화와 평가 전략의 변화.

EnvHarness로 정적 환경을 정책에 맞춰 재구성

LLM Agent 시스템을 그래프로 조직하는 방법

AI Agent를 8개 레이어로 나눈 구조

AI 에이전트를 이해하는 핵심 논문 5편

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

AI 에이전트 아키텍처의 5단계 진화와 평가 전략의 변화.

EnvHarness로 정적 환경을 정책에 맞춰 재구성

LLM Agent 시스템을 그래프로 조직하는 방법

AI Agent를 8개 레이어로 나눈 구조

AI 에이전트를 이해하는 핵심 논문 5편