karpathy/autoresearch
Python8 / 0
AI 에이전트가 단일 GPU에서 LLM 학습 코드를 스스로 수정하고 실험하며 성능을 최적화하는 자율 연구 도구이다.
핵심 포인트
- 5분 고정 시간 예산 기반의 실험 루프를 통해 하드웨어 제약 내 최적의 모델 구조 탐색
- AI 에이전트가 train.py 내의 GPT 모델 구조, 옵티마이저, 하이퍼파라미터를 직접 수정 및 실행
- 어휘 사전 크기에 독립적인 val_bpb 지표를 사용하여 서로 다른 아키텍처 간의 객관적 성능 비교
- uv 패키지 매니저를 활용한 빠른 환경 구축 및 prepare.py를 통한 데이터 전처리 자동화
49.9k
STARS
7k
FORKS
+2.6k
TRENDING
8
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.