ARIS: 적대적 멀티 에이전트 협업을 통한 자율 연구 프레임워크

기존의 자율 연구 에이전트들이 동일 모델 계열 내에서 자기 수정을 반복하며 발생하는 상관 오류 문제를 해결하기 위해 서로 다른 모델 계열 간의 적대적 협업 구조를 도입했다. 이를 통해 실험 데이터의 무결성을 검증하고 논문의 논리적 허점을 찾아내는 강력한 보증 계층을 구축하여 신뢰할 수 있는 자율 연구 환경을 제공한다.

기존의 자율 연구 에이전트는 하나의 모델이 스스로 계획하고 검토하는 Self-Refinement 방식에 의존했다. 이는 딥러닝의 Gradient Descent 과정에서 Local Minima에 빠지듯, 모델이 자신의 논리적 오류나 데이터 해석의 실수를 인지하지 못하고 편향된 결과에 안주하게 만드는 한계가 있다. 특히 동일한 가중치 분포를 공유하는 모델 계열 내에서는 이러한 상관 오류(Correlated Error)가 더욱 심화된다.

ARIS는 이를 해결하기 위해 게임 이론의 적대적 탐색 개념을 도입했다. 실행 모델이 Embedding 공간에서 최적의 연구 경로를 찾으려 할 때, 완전히 다른 유도 편향(Inductive Bias)을 가진 검토 모델이 그 경로의 취약점을 공격적으로 찾아내도록 설계했다. 이는 마치 GAN(Generative Adversarial Network)에서 생성자와 판별자가 서로 경쟁하며 성능을 높이는 원리와 유사하다.

결과적으로 연구 과정은 단순한 선형적 파이프라인이 아니라, 서로 다른 지능 체계가 충돌하며 논리를 정교화하는 과정으로 변모한다. 이를 통해 에이전트가 생성한 수치가 실제 실험 로그와 일치하는지, 인용된 논문이 실제로 존재하는지 등을 시스템 수준에서 강제적으로 검증하여 인간 연구자의 개입 없이도 높은 수준의 학술적 엄밀함을 유지한다.

ARIS는 실행(Execution), 오케스트레이션(Orchestration), 보증(Assurance)의 3개 계층으로 구성된 아키텍처를 채택했다. 실행 계층은 65개 이상의 Markdown 기반 스킬 파일을 통해 구체적인 연구 작업을 수행하며, 오케스트레이션 계층은 아이디어 발견부터 논문 작성까지의 5가지 주요 워크플로를 관리한다.

보증 계층의 핵심인 증거-주장 감사 카스케이드(Evidence-to-Claim Audit Cascade)는 3단계로 작동한다. 1단계에서는 실험 코드와 출력 파일을 대조하여 수치 조작이나 유령 결과(Phantom Results) 여부를 감사한다. 2단계에서는 확인된 결과값을 개별 주장(Claim)에 매핑하여 지지 여부를 판정한다. 3단계에서는 최종 원고의 수치와 감사 로그를 대조하여 텍스트 상의 오류를 잡아낸다.

수학적 증명 검증을 위해 20가지 범주의 이슈 분류 체계를 가진 Proof-checker를 운영한다. 정리(Theorem)와 보조정리(Lemma)가 입력될 때, 모델은 전제 조건의 충족 여부를 논리적으로 연산하여 증명 의무 원장(Proof-obligation Ledger)을 생성한다. 이 과정에서 반례를 찾는 레드팀 패스를 수행하여 증명의 견고함을 수치화된 등급으로 출력한다.

실제 배포 환경에서의 테스트 결과, ARIS는 약 8시간 동안의 자율 주행을 통해 4회의 검토-수정 루프를 완수했다. 이 과정에서 내부 검토 점수는 초기 5.0점에서 최종 7.5점(10점 만점)으로 상승했으며, 20개 이상의 GPU 실험을 자동으로 실행하고 증거가 부족한 주장을 원고에서 스스로 삭제하는 성과를 보였다.

이종 모델 협업의 효과 분석에서는 Claude 계열의 실행 모델과 GPT 계열의 검토 모델을 조합했을 때, 동일 모델 계열을 사용했을 때보다 더 다양하고 비판적인 피드백이 생성됨이 확인됐다. 또한 연구 위키를 사용한 경우, 이전 세션에서 실패했던 아이디어를 다시 시도하지 않고 새로운 방향으로 탐색을 전환하는 나선형 학습(Spiral Learning) 패턴이 뚜렷하게 나타났다.

ARIS의 핵심 기술적 차별점은 상태 저장형 연구 위키(Persistent Research Wiki)를 통한 지식 그래프 구축이다. 논문, 아이디어, 실험, 주장이라는 4가지 엔티티 타입을 정의하고 이들 간의 8가지 관계(확장, 모순, 영감 등)를 추적하여 연구의 맥락을 보존한다. 이는 기존 에이전트들이 매 세션마다 컨텍스트를 새로 시작해야 했던 한계를 극복하게 한다.

모델 브릿지 아키텍처는 MCP(Model Context Protocol)를 활용하여 다양한 LLM 백엔드와 도구를 유연하게 연결한다. 실행 모델은 코드 생성 및 실행에 최적화된 도구를 사용하고, 검토 모델은 문서 분석 및 논리 검증에 특화된 설정을 독립적으로 가져간다. 또한 FigureSpec 렌더러를 통해 모델이 JSON 구조로 정의한 시각화 데이터를 결정론적인 SVG 이미지로 변환하여 논문 품질의 그림을 자동 생성한다.

ARIS는 출력물의 정확성이나 독창성을 완전히 보장하지 못하며, LLM 특유의 환각 현상을 완전히 제거할 수는 없다. 또한 검토 루프가 반복될수록 특정 모델의 편향에 결과물이 과적합(Overfitting)될 위험이 있으며, 현재 시스템은 대규모 통제 실험을 통한 성능 입증보다는 관찰된 배포 사례에 기반하고 있다.