소형 모델의 코딩 에이전트 성능, 모델보다 스캐폴드 적합성이 핵심

작성자의 실험 결과에 대해 높은 관심을 보이며, 스캐폴드 최적화의 중요성에 공감하는 반응이 주를 이룬다.

• 소형 모델을 코딩 에이전트로 활용할 때는 거대한 시스템 프롬프트 대신 턴 단위로 필요한 기술을 주입하는 방식을 고려하라.
• 기존 파일 덮어쓰기 방지 및 명시적 작업 공간 탐색 기능을 스캐폴드에 추가하여 소형 모델의 추론 오류를 줄일 수 있다.

• 코딩 에이전트의 성능은 모델 가중치뿐만 아니라 스캐폴드와 모델 간의 적합성에 크게 좌우된다.
• 10B 이하 소형 모델은 범용 스캐폴드보다 모델의 추론 예산과 행동 특성에 최적화된 스캐폴드에서 훨씬 높은 성능을 발휘한다.
• 거대한 정적 프롬프트 대신 턴마다 필요한 기술을 주입하는 방식이 소형 모델의 코딩 과제 해결에 효과적이다.