Claude 모델의 재귀적 스킬 생성 능력 한계 테스트: Skillception 실험 결과

실험 결과에 대해 대체로 흥미롭다는 반응이며, 특히 Opus의 압도적인 성능과 Haiku의 한계에 대해 많은 사용자가 공감했다.

• 3단계 이상의 복잡한 논리 계층이 포함된 에이전트 시스템 구축 시에는 반드시 Claude 3 Opus를 사용해야 한다
• Haiku나 Sonnet을 사용할 경우 재귀 깊이를 최소화하거나 각 단계의 결과를 엄격히 검증하는 루틴을 추가해야 한다

• Claude 3 Opus는 9단계의 깊은 재귀적 논리 구조에서도 100% 성공률을 기록하며 복잡한 에이전트 워크플로우 수행에 최적화된 성능을 보였다.
• Claude 3 Sonnet은 중간 수준의 복잡성까지는 대응 가능하나 9단계 이상의 극한 재귀 상황에서는 성공률이 30%로 급감하는 한계를 드러냈다.
• Claude 3 Haiku는 3단계 이상의 논리 계층이 겹치는 작업에서 컨텍스트 혼란을 겪으므로 단순한 단일 계층 작업에 한정하여 사용하는 것이 적절하다.