Meta-Harness: 스스로 진화하는 AI 에이전트 하네스 최적화 기술

• •하네스는 LLM의 외부 도구 사용 및 데이터 처리 로직을 담당함
• •수동 하네스 엔지니어링은 노동 집약적이며 최적화에 한계가 있음
• •하네스 최적화만으로 모델 변경 없이 6배의 성능 향상 가능

하네스는 LLM이라는 엔진을 자동차로 만들기 위한 스티어링 휠, 시트, 타이어와 같은 인터페이스 역할을 합니다.

• •코딩 에이전트가 하네스 코드를 직접 수정하고 테스트하는 반복 루프 구조
• •파일 시스템 기반의 전체 이력 저장으로 컨텍스트 손실 방지
• •인간의 개입 없이 스스로 실패를 진단하고 대안을 제시함

파일 시스템을 메모리로 활용하여 LLM의 컨텍스트 윈도우 제한 문제를 해결한 것이 핵심입니다.

• •기존 최적화 기법 대비 10배 이상의 효율성과 높은 정확도 달성
• •수학 추론에서 재사용 가능한 증명 패턴 검색 전략을 스스로 발견
• •학습되지 않은 새로운 데이터셋에서도 높은 일반화 성능 유지

IMO(국제 수학 올림피아드) 수준의 문제는 LLM에게 매우 난도가 높은 추론 능력을 요구합니다.

• •Claude 3.5 Opus 기반에서 76.4% 성공률로 최상위권 기록
• •Haiku 같은 경량 모델에서도 최적화된 하네스를 통해 고성능 발휘
• •자율적인 터미널 조작 및 복잡한 의존성 해결 능력 입증

TerminalBench-2는 실제 개발 환경처럼 터미널 명령어를 사용하여 문제를 해결하는 능력을 측정합니다.

• •인간의 수동 휴리스틱은 AI의 자동 최적화 성능을 이길 수 없음
• •소프트웨어 자체가 스스로 코드를 수정하고 성능을 높이는 시대 도래
• •토큰 사용량의 상당 부분이 AI의 자기 개선 루프에 할당될 것

Bitter Lesson은 AI 역사에서 인간의 직관보다 대규모 계산과 일반적 학습 알고리즘이 항상 더 우월했다는 통찰입니다.