안드레 카파시의 Autoresearch 프로젝트: 단일 GPU에서 밤새 LLM 학습 실험을 수행하는 AI 에이전트

실용적 조언

실험 시간을 5분 내외로 짧게 설정하여 에이전트가 빠르게 많은 시도를 할 수 있게 구성하는 것이 유리하다.
성능 지표를 하나로 단순화하여 에이전트가 명확한 보상 신호를 받도록 설계하는 것이 효과적이다.

섹션별 상세

Autoresearch 프로젝트는 AI 에이전트가 train.py 파일을 직접 수정하며 5분 단위의 nanochat 학습 실험을 수행하는 구조이다. 에이전트는 실험 후 검증 손실 지표인 val_bpb(bits-per-byte) 개선 여부를 확인하고 다음 실험 방향을 결정하는 방식이다.

인간 연구원의 역할은 program.md 파일에 연구 목표와 가이드라인을 작성하는 것으로 제한된다. 이후 에이전트가 코드를 반복적으로 수정하며 실험을 진행하므로 연구자는 수면 중에도 약 시간당 12회의 실험 결과를 얻는 것이 가능하다.

시스템 구성은 단일 GPU와 하나의 코드 파일, 하나의 핵심 지표로 매우 단순화되어 있다. 이는 복잡한 인프라 없이도 AI 에이전트가 실제 연구 프로세스를 모방할 수 있음을 보여주는 미니멀한 데모 성격이 강하다.

용어 해설

검증 비트당 바이트(Validation Bits-Per-Byte): — 압축 효율을 통해 모델의 예측 성능을 측정하는 지표로 값이 낮을수록 모델이 데이터를 더 잘 예측하고 있음을 의미한다.
나노챗(NanoChat): — 카파시가 교육용으로 만든 매우 작은 규모의 언어 모델 학습 환경으로 빠른 실험과 반복이 가능하도록 설계되었다.
루프 내 연구원(Researcher-in-the-Loop): — AI 에이전트가 주도적으로 작업을 수행하되 인간이 초기 가이드라인을 제공하거나 최종 결과를 검토하는 협업 구조를 의미한다.

언급된 도구

Autoresearch추천

AI 에이전트 기반 자동 연구 실험

언급된 리소스

GitHubKarpathy Autoresearch GitHub