마지막 인간 작성 논문: 에이전트 네이티브 연구 아티팩트

기존 PDF 형식의 논문은 연구 과정의 수많은 시행착오와 세부 설정을 생략하여 AI 에이전트가 연구를 재현하고 확장하는 데 큰 걸림돌이 된다. 이 논문은 연구의 모든 경로와 실행 가능한 코드를 구조화된 데이터로 보존하는 ARA 프로토콜을 제안하여 AI와 인간이 협업하는 미래 연구 생태계의 표준을 제시한다.

딥러닝 연구는 수많은 가설 검증과 실패의 반복으로 이루어지지만, 최종 출판물인 PDF는 이 과정을 생략하고 성공한 결과만을 선형적으로 나열한다. 이는 정보의 손실을 초래하며, 특히 미세한 하이퍼파라미터 설정이나 환경 구축 세부 사항이 누락되어 AI 에이전트가 해당 연구를 스스로 재현하기 어렵게 만든다. ARA는 연구를 '읽기 위한 글'이 아닌 '실행하기 위한 객체'로 재정의하여 이 문제를 해결한다.

핵심 원리는 연구의 모든 의사결정 트리(Exploration Graph)를 보존하고, 논리적 주장(Cognitive Layer)과 실제 코드(Physical Layer)를 포렌식 바인딩으로 연결하는 것이다. 이를 통해 에이전트는 논문의 텍스트를 파싱하는 대신 구조화된 쿼리를 통해 연구의 맥락을 파악하고 즉시 코드를 실행할 수 있다.

결과적으로 ARA는 인간 리뷰어가 논문의 가치 판단에만 집중할 수 있게 하며, AI 에이전트는 누락된 정보 없이 연구를 정확히 재현하고 새로운 방향으로 확장할 수 있는 토대를 제공한다.

ARA 프로토콜은 네 가지 상호 연결된 계층으로 설계된다. Cognitive Layer(/logic)는 연구의 개념적 추상화와 검증 가능한 주장을 저장하며, Physical Layer(/src)는 실행 가능한 코드 커널과 환경 명세서를 포함한다. Exploration Graph(/trace)는 실패한 실험과 기각된 가설을 포함한 전체 연구 궤적을 DAG(Directed Acyclic Graph) 구조로 기록하며, Evidence Layer(/evidence)는 모든 주장의 근거가 되는 원시 수치 데이터를 보유한다.

Live Research Manager는 연구자와 AI 에이전트 간의 대화 세션 경계에서 작동한다. Context Harvester가 세션 기록에서 연구 이벤트를 추출하고, Event Router가 이를 적절한 ARA 레이어로 분류하며, Maturity Tracker가 충분한 증거가 쌓인 관찰 결과를 공식 항목으로 승격시킨다.

ARA Compiler는 PDF, 코드 저장소, 평가 루브릭 등을 입력값으로 받아 4단계(Semantic Deconstruction → Cognitive Mapping → Physical Grounding → Exploration Graph Reconstruction) 과정을 거쳐 통합된 ARA 아티팩트를 생성한다. 각 단계는 이전 단계의 출력을 기반으로 점진적으로 구체화되며, 최종적으로 기계가 읽고 실행할 수 있는 구조를 완성한다.

PaperBench와 RE-Bench를 통한 평가 결과, ARA 형식은 기존 PDF+저장소 방식 대비 압도적인 성능 향상을 보였다. 질문 답변 정확도(Accuracy)는 72.4%에서 93.7%로 상승했으며, 특히 PDF에 정보가 누락된 경우가 많은 하이퍼파라미터 복구 등 세부 사항(Category B)에서 큰 격차를 나타냈다.

실험 재현 성공률(Reproduction Success)은 난이도 가중치 적용 시 57.4%에서 64.4%로 개선되었다. 특히 난이도가 높은 작업일수록 ARA의 구조화된 정보가 제공하는 이점이 커지는 경향을 보였다.

연구 확장(Extension) 실험에서는 ARA에 보존된 실패 기록(Failure Traces)이 에이전트의 초기 가속을 돕는 것으로 확인되었다. 에이전트는 과거의 실패 사례를 참조하여 불필요한 탐색을 줄이고 더 빠르게 유효한 개선 방향을 찾아냈다.

ARA 아티팩트는 YAML과 Markdown 기반의 파일 시스템 온톨로지를 사용하여 구현된다. Cognitive Layer의 claims.md는 각 주장에 대해 Falsification criteria와 Proof 포인터를 명시하며, 이는 experiments.md의 특정 실험 ID와 연결된다. Physical Layer는 kernel 모드와 repository 모드를 지원하여, 알고리즘 핵심 로직만 추출하거나 전체 환경을 보존할 수 있게 한다.

검증 시스템인 ARA Seal은 세 단계로 구성된다. Level 1(Structural Integrity)은 스키마 준수 여부를 초 단위로 체크하고, Level 2(Argumentative Rigor)는 루브릭 기반으로 논리적 타당성을 평가하며, Level 3(Execution Reproducibility)은 샌드박스 환경에서 실제 코드를 실행하여 수치적 재현성을 확인한다.

이 구조는 에이전트의 컨텍스트 윈도우를 효율적으로 사용하기 위해 Progressive Disclosure 방식을 채택한다. 에이전트는 전체 데이터를 로드하는 대신 필요한 레이어와 파일만 선택적으로 읽어 연산 비용을 절감하고 정보 밀도를 높인다.

현재 연구는 머신러닝 분야의 논문에 집중되어 있어, 물리적 실험이 수반되는 생물학이나 화학 등 타 분야로의 일반화 가능성은 아직 검증되지 않았다. 또한 ARA Compiler의 성능은 원본 PDF의 정보 포함 수준에 의존하므로, 원천적으로 정보가 누락된 논문으로부터 완전한 아티팩트를 복구하는 데는 한계가 있다.