Andrej Karpathy의 AutoResearch: 스스로 학습 코드를 개선하는 AI 에이전트

섹션별 상세

01

Nanochat은 ChatGPT 스타일의 시스템을 구축하기 위한 약 8,000라인의 최소형 언어 모델 학습 프레임워크이다. Tokenizer 학습부터 Pre-training, Fine-tuning, RLHF 및 추론 인터페이스까지 전체 수명 주기를 포함하며 복잡한 의존성 없이 시스템 투명성을 유지한다.

02

AutoResearch 프레임워크는 AI 에이전트가 코드베이스를 복제하고 실험용 브랜치를 생성하여 자율적으로 연구를 수행하는 루프 구조를 가진다. 에이전트는 학습 루프, 데이터 전처리, 하이퍼파라미터, 아키텍처 등을 분석하여 개선안을 제안하고 자동 실험을 통해 성능을 검증한다.

Andrej Karpathy의 AutoResearch 프로젝트 공개 트윗 — ScreenshotAutoResearch 프로젝트의 핵심 개념인 단일 GPU 기반의 최소화된 코드베이스와 인간-AI 에이전트 간의 협업 루프를 설명한다. 인간은 프롬프트를 수정하고 AI 에이전트는 학습 코드를 반복적으로 개선하는 구조를 명시하고 있다.

AutoResearch 시스템의 자율 코드 최적화 워크플로우 다이어그램 — Diagram저장소 초기화부터 브랜치 생성, 코드 변경 제안, 실험 실행, 결과 평가 및 병합으로 이어지는 연속적인 연구 루프를 시각화한다. AI 연구 에이전트가 어떻게 독립적으로 성능 지표를 확인하고 개선 사항을 통합하는지 보여준다.

03

검증된 개선 사항은 자동으로 메인 브랜치에 병합되며, 이 과정은 인간의 개입 없이 수백 번의 반복이 가능하다. 실제 실험에서 에이전트는 12시간 만에 110개의 코드 수정을 제안하여 Validation Loss를 0.862에서 0.858로 낮추는 성과를 거두었다.

AutoResearch 진행에 따른 검증 BPB(Bits Per Byte) 변화 그래프 — Chart83번의 실험 중 15번의 개선 사항이 채택되어 Validation BPB 수치가 계단식으로 하락하는 과정을 보여준다. 배치 사이즈 조정, Warmup 추가, RoPE 주파수 변경 등 에이전트가 수행한 구체적인 최적화 항목들이 그래프에 주석으로 표시되어 있다.

04

Nanochat은 8개의 NVIDIA H100 GPU를 사용하여 GPT-2 모델 학습 시간을 기존 3시간에서 2시간으로 단축했다. 이러한 성능 향상은 NVIDIA ClimbMix 데이터셋 도입, FP8 정밀도 학습 적용, 그리고 데이터 로딩 및 배치 스케줄링 최적화를 통해 달성되었다.

기술

Nanochat
AutoResearch
NVIDIA H100
FP8
ClimbMix Dataset
Python

활용 사례

자율적인 LLM 학습 코드 최적화
학습 파이프라인의 성능 벤치마킹 자동화
저비용 고효율 GPT-2급 모델 학습

언급된 리소스

GitHubAutoResearch GitHub Repository