안드레이 카파시의 AutoResearch: 스스로 개선하는 AI 에이전트 구축 가이드

• •AI가 스스로 가설을 세우고 실험을 실행하여 성능을 개선하는 자율 루프
• •인간의 수동 최적화 작업을 AI 에이전트의 자동 실험으로 대체
• •성공적인 실험은 Git 커밋으로 유지하고 실패한 실험은 리셋

안드레이 카파시는 OpenAI의 공동 창립자이자 테슬라 오토파일럿의 전 책임자로, AI 업계의 핵심 인물이다.

• •program.md: 인간이 정의한 목표와 제약 조건
• •train.py: 에이전트가 자유롭게 수정하고 실험하는 대상
• •prepare.py: 에이전트의 접근이 차단된 독립적인 평가 지표 스크립트

평가 스크립트를 에이전트로부터 격리하는 것은 AI가 지표를 속이는 '치팅'을 방지하기 위한 필수적인 안전 장치이다.

• •가설 수립부터 평가까지의 전 과정을 인간 개입 없이 무한 반복
• •고정된 시간 예산을 통해 실험 간의 직접적인 비교 가능성 확보
• •Git 시스템을 활용한 자동 버전 관리 및 결과 보존

고정된 시간 예산(Fixed Time Budget)은 에이전트가 단순히 더 오래 학습해서 점수를 높이는 편법을 막고 순수한 아이디어의 품질을 측정하게 한다.

# The AutoResearch Loop Logic
while True:
    hypothesis = agent.generate_hypothesis()
    agent.modify_code('train.py', hypothesis)
    
    # Fixed time budget for comparability
    result = run_training(timeout=300) 
    score = evaluate_performance('prepare.py')
    
    if score > best_score:
        git_commit(message=f"Improved: {score}")
        best_score = score
    else:
        git_reset_hard()

• •트레이딩: 샤프 지수 기반의 매매 전략 자동 최적화
• •마케팅: 전환율 지표를 활용한 대규모 A/B 테스트 자동화
• •개발: 벤치마크 성능 향상을 위한 코드 및 프롬프트 튜닝

주관적인 판단(디자인, 브랜드 가치 등)이 개입되는 분야는 객관적 지표 설정이 어려워 AutoResearch 적용이 제한적일 수 있다.

• •Puppeteer를 활용한 객관적인 로딩 속도 측정 환경 구축
• •에이전트가 이미지 압축, 코드 경량화 등을 자율적으로 수행
• •단시간 내에 로딩 성능을 50% 이상 개선하는 실질적 성과 달성

Puppeteer는 웹 브라우저를 프로그래밍 방식으로 제어할 수 있게 해주는 라이브러리로, 웹 성능 측정 자동화에 자주 쓰인다.