소형 모델의 코딩 에이전트 성능, 모델보다 스캐폴드 적합성이 핵심

커뮤니티 반응

작성자의 실험 결과에 대해 높은 관심을 보이며, 스캐폴드 최적화의 중요성에 공감하는 반응이 주를 이룬다.

주요 논점

01찬성다수

코딩 에이전트 벤치마크 점수는 모델 성능뿐만 아니라 스캐폴드와의 적합성에 의해 결정된다.

합의점 vs 논쟁점

합의점

소형 모델의 코딩 에이전트 성능은 스캐폴드 설계에 따라 크게 개선될 수 있다.

실용적 조언

소형 모델을 코딩 에이전트로 활용할 때는 거대한 시스템 프롬프트 대신 턴 단위로 필요한 기술을 주입하는 방식을 고려하라.
기존 파일 덮어쓰기 방지 및 명시적 작업 공간 탐색 기능을 스캐폴드에 추가하여 소형 모델의 추론 오류를 줄일 수 있다.

섹션별 상세

소형 모델의 코딩 성능 저하가 모델 자체의 한계인지, 스캐폴드와의 불일치 때문인지 확인하기 위해 실험을 수행했다. 동일한 Qwen3.5 9.7B Q4 가중치를 고정한 상태에서 기존 Aider와 직접 설계한 little-coder 스캐폴드를 각각 적용하여 Aider Polyglot 벤치마크를 실행했다.

little-coder 스캐폴드는 소형 모델의 행동 프로필에 맞춰 설계됐다. 추론 예산 제한, 기존 파일 덮어쓰기 방지, 명시적 작업 공간 탐색, 그리고 거대한 정적 프롬프트 대신 턴마다 작은 단위의 기술 주입 방식을 사용했다.

실험 결과, vanilla Aider는 19.11%의 성공률을 보인 반면, little-coder는 45.56%의 성공률을 기록했다. 이는 225개의 연습 문제를 대상으로 한 두 번의 전체 실행 평균값이다.

Qwen3.5 9.7B 모델을 사용한 vanilla Aider와 little-coder 스캐폴드의 Aider Polyglot 벤치마크 성능 비교 차트. — Chartlittle-coder 스캐폴드를 적용했을 때 45.6%의 성공률을 기록하여 vanilla Aider의 19.1% 대비 2배 이상의 성능 향상을 보여준다. 이는 코딩 에이전트의 성능이 모델 자체보다 스캐폴드 최적화에 크게 영향을 받을 수 있음을 시사한다.

작성자는 코딩 에이전트 벤치마크 결과가 모델 가중치뿐만 아니라 스캐폴드와 모델 간의 적합성에 크게 의존한다고 결론지었다. 10B 이하의 소형 모델이 코딩 에이전트 평가에서 너무 일찍 저평가되었을 가능성을 제기했다.

언급된 도구

Aider중립링크

코딩 에이전트 스캐폴드 및 벤치마크 도구

Qwen추천

실험에 사용된 9.7B 파라미터 규모의 언어 모델

언급된 리소스

문서Honey, I Shrunk the Coding Agent