AutoResearchClaw: 인간-AI 협력으로 자기 강화적 자율 연구

연구는 아이디어에서 논문까지의 선형 경로가 아니라 다각적 검토와 실패로부터의 학습을 축적하는 순환 과정이다. AutoResearchClaw는 구조적 multi-agent debate, self-healing execution, verifiable result reporting, HITL 협업, cross-run evolution의 다섯 가지 메커니즘을 결합해 가설 품질, 실행 강건성, 과거 경험의 누적을 함께 향상시킨다. ARC-Bench에서 AI Scientist v2 대비 54.7%의 성능 차이를 보여주며, 인간의 판단을 보완하는 연구 확장자(리서치 어플리파이어)로 자리매김한다.

단일 에이전트 중심의 자율 연구는 가설의 질을 충분히 보장하기 어렵고, 실행 중 발생하는 실패를 활용하지 못한다. AutoResearchClaw는 (1) 2단계 토론 패널로 가설의 강건성을 높이고(2) self-healing execution으로 실패를 학습 자원으로 만들며(3) 검증된 보고와 인용 검증으로 실험 결과의 신뢰성을 확보하고, (4) HITL로 고지점에서만 개입하며(5) 과거 실패의 교훈을 시간에 따라 누적하는 cross-run evolution으로 모든 사이클에서 개선을 이끌어낸다. ARC-Bench 평가에서 이러한 설계가 서로 보완 작용을 하여, 최종 산출물의 품질과 재현성을 동시에 높인다.

전체 접근 방식은 Discovery-Experimentation-Writing의 3대 단계로 구성되며, 각 단계는 23개 정해진 입력/출력 계약을 가진 prompts로 구현된다. 도메인 인식은 3단 cascaded detection으로 수행되며, ML/Hep/생물학 등 도메인 어댑터를 통해 실험 실행을 도메인 특화 엔진에서 수행한다. 핵심 메커니즘은 1) Multi-Agent Debate: Hypothesis_Gen(Innovator/Pragmatist/Contrarian)과 Result_Analysis(Optimist/Skeptic/Methodologist), 2) Self-Healing Execution: 예측 실패 Signature를 바탕으로 Repair를 시도하고 필요 시 Pivot/Refine 결정, 3) Verifiable Result Reporting: Numeric Registry와 4-layer Citation Verification, 4) HITL: Full-Auto에서 Gate-Only, CoPilot, Step-by-Step 등 7개 모드, 5) Cross-Run Evolution: Lesson Store와 Time-Decay Weighting으로 지식 축적. 수학적 기초로는 lesson의 가중치를 w(l) = s(l) · exp(-ln 2 · Δt / T1/2)로 정의하여 과거의 영향력을 제어한다. sandboxed Docker 실행 환경과 3-phase 네트워크 정책으로 보안/재현성을 확보한다.

주요 벤치마크 ARC-Bench의 experiment-stage에서 AutoResearchClaw(CoPilot)이 0.648로 AI Scientist v2의 0.419를 54.7% 상회했다. Full-Auto 모드에서도 0.596으로 Baseline을 능가한다. 20개의 과학 도메인 태스크를 포함한 ARC-Domain에서도 Biology 0.912, Statistics 0.898, HEP-ph 0.489를 기록, Domain-specific 샌드박스 설치의 필요성을 확인했다. 또한 10개 ARC-Bench 주제에서 HITL ablation은 CoPilot이 Step-by-Step보다 일관된 품질 향상을 보였고, Topic T10의 사례 연구에서 비슷한 디자인에서도 Cross-Validation 전략의 식별 가능한 차이를 포착했다.

전체 아키텍처는 23-stage 파이프라인으로 구성된다(Topic_Init → Literature_Collect → Hypothesis_Gen → Experiment_Design → Code_Generation → Experiment_Run → Iterative_Refine → Result_Analysis → Research_Decision → Paper_Outline → Paper_Draft → Peer_Review → Paper_Revision → Quality_Gate → Knowledge_Archive → Export_Publish → Citation_Verify). 핵심 메커니즘은 다중 에이전트 debate, self-healing execution, verifiable result reporting, cross-run evolution, HITL 협업이다. 각 단계의 입력/출력은 JSON 스키마로 정의되며, 3단계 도메인 어댑터가 존재한다. 수학적 기초로는 cross-run 학습의 가중치 함수 w(l) = s(l) · exp(-ln 2 · Δt / T1/2)를 도입하여 과거 교훈의 지속 효과를 제어한다. 샌드박스 실행은 Docker 컨테이너에서 3-phase 네트워크 정책으로 이루어지며, 전면 네트워크 접근은 Phase 0/1에서 허용되고 Phase 2에서는 차단된다. 코드 검증은 AST 파싱, 보안 체크, 모듈 화이트리스트, 인증된 임포트 등을 포함한다. 도메인별 엔진으로는 MadGraph, COBRApy, MONTE-CARLO 등 다양한 툴을 어댑터를 통해 연결한다.

주요 한계로는 Topic T02 등 특정 주제에서 초기 구현의 복잡도와 종속성으로 인해 몇몇 주제에서 실패 사례가 발생한다. 도메인 스택의 설치와 샌드박스 환경 구성의 의존성이 매 실행에서 다를 수 있어, 도메인 어댑터의 안정성 확보가 중요하다. 또한 인간의 개입이 큰 개선 효과를 보이지만, 개입의 위치와 빈도에 따라 품질 편차가 존재한다.