NanoResearch: 개인화된 연구 자동화를 위한 기술-메모리-정책의 삼중공진화

연구자별 자원, 선호도, 그리고 출력 형식이 서로 다르다는 실제 맥락에서 단일 고정 파이프라인은 비효율적이다. NanoResearch는 스킬 뱅크, 메모리 모듈, 레이블 없는 정책 학습의 삼중 계층으로 개인화된 의사결정과 실험 흐름을 지속적으로 개선한다. 이 접근은 인간 연구자와의 협업에서 더 높은 품질의 산출물과 비용 절감을 가능하게 한다.

기본 아이디어는 연구 자동화를 다층으로 진화시키는 것에 있다. 먼저 스킬 뱅크가 실행 지식을 압축해 재활용 가능하게 만들고, 메모리 모듈이 사용자/프로젝트의 맥락을 축적한다. 마지막으로 SDPO를 통해 피드백을 플래너의 파라미터에 직접 반영하므로 implicit 선호가 점진적으로 파라미터화된다. 이 세 가지 요소가 서로를 보완하며, 각 사이클이 끝날 때마다 더 정교한 계획과 실행이 가능해지며 자원 소비도 줄어든다. 실험은 20개 주제에서 라운드를 거듭할수록 Align, Novel, Perf 등의 지표가 개선되고, 인간 평가에서도 baselines 대비 우수한 성능을 보임을 보여준다.

Stage 1: Idea Generation and Planning. Orchestrator는 Topic U를 입력으로 받아 SI, MI를 Retrieve하고 PI를 Plan한다. 문헌에서 근거를 추출하고 HK를 탐색한 뒤 h*를 선발하고 PP를 Plan한다. Stage 2: Experimental Validation and Optimization. Stage 2는 Setup/Execution를 포함해 W를 생성하고, 디버깅 루프를 통해 W를 수정한다. 분석 후 A를 업데이트하고 S, M에 재생산 가능한 규칙을 Distill 및 Summarize한다. Stage 3: Paper Writing and Review. PW를 작성하고, Draft를 리뷰어가 평가해 fR 피드백으로 수정한다. 마지막으로 P를 산출한다. 메모리/스킬/정책 각각은 Trajectory τ를 기반으로 Update되며, SDPO를 통해 피드백 F를 Planner 파라미터 θ에 직접 반영한다. SDPO의 그래디언트는 논문에 제시된 식(예: ∇θLSDPO(θ) = …)로 계산되며, token 단위로 학습 신호를 추정한다. 이 과정을 통해 선호가 각 사이클에 걸쳐 파라미터에 반영된다.

주요 벤치마크에서 NanoResearch가 기존 시스템을 능가한다. Round 3의 메인 지표는 Align 8.963, Novel 5.645, E2E 1.000, Perf 0.7548, Writ 6.172이다. Ablation 실험에서 Planner 모델 제거 시 전반적 성능 저하가 가장 크게 나타났고, Memory 제거 시 Novelty가 감소했다. R1~R3의 비용 지표는 총 비용이 1주제당 4.16달러에서 R3의 1.43달러로 감소하며 누적 학습으로 효율이 증가한다. Skill Bank/Memery Growth는 R1에서 주제당 0.80/6.40에서 R3에는 각각 2.30/12.00으로 증가한다. 인간 평가에서도 NanoResearch는 Baselines를 상회하며 Round를 거치며 성능이 상승한다.

전체 아키텍처는 O(Orchestrator), S(Skill Bank), M(Memory), πθ Planner로 구성된다. Retrieval은 top-k 방식으로 S/M에서 상황에 맞는 entry를 선택한다. Update는 Trajectory τ를 바탕으로 Distillskill와 Summarizemem를 통해 S와 M을 확장한다. Adaptive Planning은 피드백 F를 이용해 SDPO를 통해 θ를 업데이트한다. SDPO의 그라디언트는 토큰 분포의 차이를 최소화하는 방향으로 흐름을 조정한다. Stage 1에서 LLM 기반 아이디어 생성 및 리뷰, Stage 2에서 코드/실험, Stage 3에서 글쓰기 및 리뷰가 진행된다.

논문은 AI/ML 태스크에 대한 평가에 집중하며, 생물학/화학/물리학 같은 다른 과학 분야로의 일반화는 아직 검증되지 않았다. 계산 자원 비용 및 API 의존성으로 인한 접근성 이슈가 존재한다.