TL;DR

Autoresearch는 Claude Code·OpenCode·OpenAI Codex 환경에서 동작하는 자율 반복 실험 스킬로서 목표·범위·기계적 검증을 설정한 뒤 단일 변경을 반복 적용해 누적 개선을 달성한다. 내부적으로는 변경 전 커밋, 기계적 검증 실행, 개선 시 유지·악화 시 즉시 git revert의 루프를 돌리고 모든 반복을 TSV로 기록해 /autoresearch:evals로 추세 분석이 가능하다. v2.1에서 아키텍처를 분리해 호출 토큰을 약 95% 절감했고 v2.2에서 자연어 목표를 자동 분류해 오케스트레이션을 수행하는 기능이 추가되어 반복 실험의 비용 효율성과 자동화 수준을 동시에 높였다. 한편 플랫폼 스킬 방식과 기계적 검증 의존성으로 인해 실행 환경에 Claude Code·OpenCode·Codex 같은 호스트와 명확한 검증 명령이 준비되어 있어야 효과를 발휘한다.

핵심 포인트

• 원저자의 Karpathy Autoresearch 원칙을 일반 도메인(코드, 마케팅, 영업 등)으로 확장해 Claude Code, OpenCode, Codex 같은 플랫폼에서 실행 가능한 스킬 형태로 제공하는 점이 핵심 차별점이다. 플랫폼별 포맷(.claude, .opencode, .agents)과 변환 스크립트를 제공해 동일한 반복 철학을 여러 실행 환경에서 재현할 수 있다. 이로써 특정 플랫폼 종속의 제약을 낮추고 다양한 워크플로에 적용할 수 있다.
• v2.1.0 아키텍처 재구성으로 모놀리식 SKILL.md를 얇은 라우팅 파일과 자체 포함 명령 파일들로 분리하여 토큰 사용량을 대폭 줄인 점이 기술적 차이이다. 각 명령 파일이 94–120라인으로 축소되어 호출 시 검증에 필요한 토큰을 95% 절감했고 이로 인해 반복 실행 비용과 지연이 크게 줄었다. 토큰 효율성 개선은 대량 반복 실험을 경제적으로 가능하게 한다.
• 오케스트레이터 모드는 자연어 목표를 받아 자동으로 성공 판정식을 생성하고 적절한 명령 체인을 선택해 완전 자동 루프를 실행하므로 수동 체이닝 없이도 복합 작업을 끝까지 수행할 수 있다. /autoresearch:plan과 handoff.json 체인은 구성의 자동 검증과 파이프라인 연계를 보장하며 체이닝 옵션으로 세부 제어가 가능하다. 이 자동화 수준은 단일 도구에서 목표 해석부터 실행·검증·로그까지 연속적으로 처리한다.
• 보안·안전 측면에서 9개의 기본 훅과 Guard 패턴을 포함해 민감한 파일 접근과 위험 명령을 사전 차단하며 반복 중에도 Guard 명령이 실패하면 변경을 재작업하도록 설계되어 있다. 훅은 기본 활성화 상태이며 환경 변수로 개별 비활성화가 가능하고 .ckignore로 컨텍스트 범위를 조정할 수 있다. 이 구조는 자율 실행 환경에서의 안전성과 CI/CD 통합을 모두 고려한다.

벤치마크