안드레 카파시의 자율 연구 실험: 에이전트가 스스로 코드를 고쳐 모델을 개선한다
Agent·Python7 / 0
AI 에이전트가 단일 GPU에서 LLM 학습 코드를 스스로 수정하고 실험하며 성능을 최적화하는 자율 연구 도구이다.
주요 기능
- 5분 고정 시간 예산 기반의 실험 루프를 통해 하드웨어 제약 내 최적의 모델 구조 탐색
- AI 에이전트가 train.py 내의 GPT 모델 구조, 옵티마이저, 하이퍼파라미터를 직접 수정 및 실행
- 어휘 사전 크기에 독립적인 val_bpb 지표를 사용하여 서로 다른 아키텍처 간의 객관적 성능 비교
- uv 패키지 매니저를 활용한 빠른 환경 구축 및 prepare.py를 통한 데이터 전처리 자동화
- Markdown 기반의 program.md 파일을 통해 에이전트에게 연구 지침과 제약 사항 전달
사용 사례
- 제한된 GPU 자원에서 최적의 LLM 아키텍처와 하이퍼파라미터 조합을 자동으로 탐색할 때
- AI 에이전트가 스스로 코드를 개선하고 실험하는 자율 연구 워크플로를 실험할 때
49.9k
Stars
7k
Forks
+2.6k
Trending
7
조회수
49.9k watchers153 open issues
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.