SkillOpt-Lite: 파일 중심 최소 파이프라인으로 달성한 에이전트 자기진화

에이전트 성능은 대형 모델 자체뿐 아니라 모델을 둘러싼 스킬 문서와 실행 하니스의 상호작용에 의해 좌우된다. SkillOpt-Lite는 복잡한 미니배치 병합과 반영 버퍼를 배제하고 파일 중심의 단순 루프만으로도 수렴 속도와 검증 점유 성능을 동시에 끌어올렸다는 점에서 운영적 효율을 제공한다. 이 방식은 작은 모델이 환경 제약을 개선하면 큰 모델을 능가할 수 있음을 실험적으로 보여주어 엔지니어링 자원 배분과 자동화 설계 관점을 바꿀 잠재력이 있다.

스킬 최적화 문제는 텍스트 기반 스킬 파일 s를 고정 백본 M과 하니스 H로 실행했을 때의 기대 보상 f(s)=E_{z∼D}[R(H(M,z,s))]을 최대화하는 문제로 환원된다. 이 공간에서 s는 이산적이고 비미분적이므로 전통적 기울기 ∇_s f를 얻을 수 없고, 대신 입력에 대한 보상 변화만을 반환하는 ZO 오라클 관점으로 문제를 재구성했다. 에이전트 롤아웃은 단순한 스칼라 피드백이 아니라 오류 로그, 계획 이유, 중간 상태를 포함하는 풍부한 궤적을 제공하기 때문에 고전적 ZO와 달리 '언어 매개 프로그램 컴파일' 관점에서 직접적인 디버깅 신호로 활용할 수 있다.

SkillOpt-Lite의 전체 흐름은 디스크 중심의 네 단계로 구성된다. 첫째, 각 배치 롤아웃의 원시 궤적을 독립 텍스트 파일로 저장해 로그 단위로 분리한다. 둘째, 옵티마이저 모델은 컨텍스트에 모든 로그를 로드하지 않고 파일 시스템 명령으로 디렉터리를 탐색해 실패가 유사한 로그를 군집화하고 고지렛대 파일을 선별한다. 셋째, 선택된 파일을 읽어 교차-태스크 불변점을 추출하는 컨센서스 채굴을 수행하고 신뢰구역 제약(작은 패치) 범위 내에서 최소 수정 패치를 생성한다. 넷째, 생성된 후보 스킬은 훈련 집합과 엄격히 분리된 독립 검증집합에서 평가되어 성능이 개선될 때만 실제 스킬 파일로 반영하며 거부된 편집은 이력으로 보존한다. 하니스 확장은 동일 파일 편집 루프를 실행 코드와 스크립트로 확장하고 샌드박스 검증, 컴파일 체크, 롤백 토글을 추가하여 안전성을 확보한다.

논문은 여러 모델 규모와 여섯 개 벤치마크에서 SkillOpt-Lite가 기존 SkillOpt를 넓은 범위에서 능가한다고 보고했다. 요약된 주요 성과로 LiveMath에서 GPT-5.5에 대해 +8.8 포인트, GPT-5.4-nano에 대해 +25.4 포인트의 절대 개선이 보고되었고 SpreadsheetBench에서는 SkillOpt-Lite가 GPT5.4-nano에서 0.6619을 달성한 뒤 HarnessOpt로 0.7758까지 상승시켜 같은 실험에서 GPT5.5의 SkillOpt 성능 0.7620을 능가했다. 또한 컨버전스 측정에서 SkillOpt-Lite는 초기 2~3스텝에서 급격한 성능 상승을 보이며 최종 검증 상한도 동일하거나 더 높게 유지되었다는 정량적 경향이 제시되었다.

스킬 최적화는 f(s)=E_{z∼D}[R(H(M,z,s))]로 정의되며 여기서 s는 텍스트 스킬, M은 고정된 백본 LLM, z는 과제 인스턴스, H는 실행 하니스다. 이 함수의 기울기 ∇_s f는 이산 텍스트 공간과 비미분적 실행 구성 때문에 직접 계산 불가능하여 제로스-오더 오라클 접근을 취한다. ZO 대응식으로는 1점 추정 \hat{ abla}f(s)\propto f(s+μu)u와 중앙차분 (f(s+μu)-f(s-μu))/(2μ) 등이 대응되며, 본문은 LLM 기반 편집 연산(단일 트레이스 반영, 좌표 기반 편집, 배치 합의 추출 등)을 이 연산자들에 대응시켜 구조적 해석을 제시한다. 일반화 관점에서는 기대 평균 안정성 계수 β_exp가 도입되어 경험적 오차와 β_exp 항으로 일반화 격차가 설명된다. 구체적으로 ε(𝒮) ≤ \hat{ε}D(𝒮) + O(β{exp} + sqrt(ln(1/δ)/N))인데, 여기서 ε는 진짜 분포에 대한 일반화 오차, \hat{ε}_D는 경험적 오차, N은 학습 인스턴스 수, δ는 신뢰 수준이다. 이 식의 입력-처리-출력 관점은 다음과 같다: 입력은 학습 집합 D와 알고리즘 출력 스킬 라이브러리, 처리 단계는 편집 연산과 합의 추출로 β_exp에 영향을 주며 출력은 검증 점수와 일반화 오차다. 작은 수치 예로 학습 인스턴스 N이 작을 때 sqrt(ln(1/δ)/N) 항이 커져 검증 분산이 증가하므로 LiveMath나 OfficeQA처럼 검증 샘플 수가 적은 벤치에서는 검증 분산 보정이 필요함이 명확해진다.

논문은 몇 가지 명시적 한계를 언급하고 있다. 첫째, LiveMath와 OfficeQA는 검증 인스턴스가 10~20개로 적어 검증 분산이 커서 통계적 안정성을 위해 분할을 조정해야 했으며 이로 인해 일부 결과의 분산이 증가할 수 있다. 둘째, 하니스 최적화는 Round-0 부트스트랩 단계에서 초기 인터페이스의 구조적 무결성이 필수적이며 초기 부적절한 자동 수정을 방지하기 위해 인간의 승인을 요구하는 단계가 필요하다. 셋째, 자동화된 하니스 변경은 문법적 붕괴나 도구 의존성 파손 위험이 있어 샌드박스 검증·컴파일 체크·롤백 토글 같은 안전장치가 전제되어야 한다.