Claude 모델의 재귀적 스킬 생성 능력 한계 테스트: Skillception 실험 결과

실험 결과에 대해 대체로 흥미롭다는 반응이며, 특히 Opus의 압도적인 성능과 Haiku의 한계에 대해 많은 사용자가 공감했다.

• 3단계 이상의 복잡한 논리 계층이 포함된 에이전트 시스템 구축 시에는 반드시 Claude 3 Opus를 사용해야 한다
• Haiku나 Sonnet을 사용할 경우 재귀 깊이를 최소화하거나 각 단계의 결과를 엄격히 검증하는 루틴을 추가해야 한다

재귀(Recursion)

— 자기 자신을 참조하거나 호출하는 논리 구조로, 이 실험에서는 스킬 생성기가 상위/하위 생성기를 반복적으로 설계하는 복잡성을 측정하는 핵심 지표이다. 재귀 단계가 깊어질수록 모델은 이전 컨텍스트를 유지하면서 새로운 논리 계층을 쌓아야 하므로 고도의 추론 능력이 요구된다.

LLM 평가자(LLM Judge)

— 실험의 각 단계가 성공적으로 수행되었는지 사람이 아닌 다른 LLM이 객관적으로 판별하는 자동화된 평가 방식이다. 편향을 줄이기 위해 맹검 평가(blind judge) 방식을 채택하며, 대규모 실험에서 일관된 평가 기준을 유지하는 데 필수적인 역할을 한다.

스킬 생성기(Skill Creator)

— 특정 기능을 수행하는 코드나 도구를 자동으로 설계하고 구현하는 에이전트의 하위 모듈이다. 이 실험에서는 이 모듈이 자신과 유사한 기능을 가진 또 다른 모듈을 생성하도록 유도하여 모델의 자가 복제 및 계층적 설계 능력을 테스트하는 단위로 사용된다.