오토리서치, 에이전트 루프 그리고 업무의 미래

섹션별 상세

00:00

안드레 카파시의 오토리서치 프로젝트 공개

안드레 카파시가 '오토리서치(Auto-Research)'라는 이름의 새로운 깃허브 저장소를 공개했다. 이 프로젝트는 약 630줄의 파이썬 코드로 구성되었으며, AI 에이전트가 스스로 LLM 학습 코드를 수정하고 실험하여 성능을 높이는 과정을 자동화했다. 인간은 직접 코딩하는 대신 연구 전략이 담긴 마크다운 파일(program.md)을 작성하여 에이전트에게 지침을 내리는 역할로 물러났다. 에이전트는 5분 단위의 짧은 학습 세션을 무한히 반복하며 모델의 예측 성능 지표인 Val BPP를 낮추기 위해 노력한다.

05:00

에이전트 루프: 새로운 업무의 기본 단위

과거에 언급되었던 '랄프 위검(Ralph Wiggum)' 루프 개념이 오토리서치를 통해 구체화되었다. 랄프 위검 루프는 에이전트가 특정 과업을 완수할 때까지 코드를 수정하고 테스트하는 과정을 끈기 있게 반복하는 소프트웨어 개발 루프를 의미한다. 이러한 반복적 루프는 이제 AI 연구를 넘어 비즈니스 프로세스 전반에 적용될 수 있는 강력한 '업무 프리미티브(Primitive)'로 자리 잡고 있다. 인간이 잠자는 동안에도 에이전트는 수백 번의 실험을 수행하며 최적의 해답을 찾아낸다.

10:00

오토리서치의 기술적 구조와 작동 방식

오토리서치 시스템은 세 가지 핵심 파일로 운영된다. 첫째는 데이터 준비와 평가를 담당하는 고정 인프라인 `prepare.py`다. 둘째는 에이전트가 자유롭게 수정할 수 있는 모델 정의 및 학습 루프인 `train.py`다. 셋째는 인간이 에이전트에게 연구 방향과 주의사항을 전달하는 `program.md`다. 에이전트는 실험 결과가 이전 최고 기록보다 좋을 때만 깃(Git)에 커밋하여 변경 사항을 확정하며, 실패한 실험은 즉시 폐기하고 이전 상태로 되돌아가 새로운 시도를 이어간다.

python

# Conceptual logic of the Auto-Research loop
while True:
    # 1. Agent reads program.md (instructions) and train.py (current code)
    # 2. Agent proposes a change to train.py to lower Val BPP
    # 3. System runs a 5-minute training session
    new_val_bpp = run_training("train.py")
    
    if new_val_bpp < best_val_bpp:
        # 4. If improved, commit changes to git and update baseline
        git_commit("train.py", f"Improved Val BPP to {new_val_bpp}")
        best_val_bpp = new_val_bpp
    else:
        # 5. If not improved, discard changes and try again
        git_checkout("train.py")

오토리서치 프로젝트의 핵심인 자율 실험 및 성능 개선 루프의 개념적 로직

15:00

업계 전망과 실무적 시사점

전문가들은 이 모델이 AI 연구뿐만 아니라 일반적인 비즈니스 문제 해결에도 적용될 것이라고 전망했다. 명확한 점수 측정(Scalar Score)이 가능한 분야라면 어디든 에이전트 루프를 도입하여 최적화할 수 있다. 예를 들어 이메일 마케팅, 코드 리팩터링, 제안서 작성 등에서 에이전트가 스스로 결과물을 개선하며 무한 반복하는 구조가 가능하다. 이는 인간의 노동이 '실행'에서 '지표 정의 및 전략 수립'으로 이동하고 있음을 보여준다.

용어 해설

오토리서치(Auto-Research): — 안드레 카파시가 공개한 프로젝트로, AI 에이전트가 스스로 LLM 학습 코드를 수정하고 실험하며 모델 성능을 개선하는 자율 연구 시스템이다. 인간의 개입 없이 가설 설정과 검증을 반복하여 최적의 하이퍼파라미터와 아키텍처를 찾아내는 것이 핵심이다.
에이전트 루프(Agentic Loop): — AI 에이전트가 목표 달성을 위해 실행, 평가, 수정의 과정을 무한히 반복하는 구조다. 각 반복(Iteration)마다 결과물을 검증하고 실패 시 다시 시도하거나 성공 시 이를 기반으로 다음 단계로 나아가는 자율적 워크플로우를 의미한다.
검증 비트당 바이트(Val BPP): — Validation Bits Per Byte의 약자로, 언어 모델이 데이터를 얼마나 효율적으로 예측하고 압축하는지 측정하는 지표다. 수치가 낮을수록 모델의 예측 정확도가 높고 성능이 우수함을 나타내며, 오토리서치 프로젝트에서 실험의 성공 여부를 판단하는 핵심 척도로 사용된다.
랄프 위검 루프(Ralph Wiggum Loop): — 소프트웨어 개발에서 에이전트가 특정 작업을 완수할 때까지 코드를 수정하고 테스트하는 과정을 끈기 있게 반복하는 자율적 루프 기법이다. 심슨 가족의 캐릭터 이름을 따왔으며, 컨텍스트 윈도우의 한계를 극복하기 위해 에이전트를 주기적으로 재시작하면서도 상태를 유지하는 것이 특징이다.

주목할 인용

“One day, frontier AI research used to be done by meat computers in between eating, sleeping, having other fun and synchronizing once in a while using sound wave interconnect in the ritual of a group meeting. That era is long gone.”
언젠가 최첨단 AI 연구는 먹고 자고 즐기는 틈틈이 '고기 컴퓨터(인간)'들이 모여 음파 인터커넥트(대화)를 통해 동기화하던 시절이 있었습니다. 그 시대는 이제 끝났습니다.
Andrej Karpathy·04:00
AI 연구가 인간의 생물학적 한계를 벗어나 자율 에이전트의 영역으로 이동하고 있음을 강조하며

“The person who figures out how to apply this pattern to business processes, not just ML research, is going to build something massive.”
이 패턴을 머신러닝 연구뿐만 아니라 비즈니스 프로세스에 적용하는 방법을 찾아내는 사람은 거대한 것을 만들어낼 것입니다.
Craig Hewitt·10:00
에이전트 루프 아키텍처가 산업 전반에 가져올 파급력을 전망하며