역할별 LLM 성능 테스트: 아키텍처 및 기획 단계의 모델 랭킹

작성자의 상세한 벤치마킹 결과에 대해 긍정적인 반응이며, 특히 특정 작업에 특화된 모델 선택 전략에 공감하는 분위기이다.

• 복잡한 프로젝트의 아키텍처 설계 시에는 비용이 들더라도 Claude Opus 4.6을 사용하여 저장소 구조를 먼저 파악하라.
• 일일 코딩 작업(Daily Driver)으로는 가성비와 성능 균형이 좋은 GPT-5.4 mini (high) 모델을 활용하라.
• Gemini를 사용할 때는 충분한 출력 길이를 확보할 수 있도록 프롬프트를 조정하여 모델의 지능을 최대한 끌어내라.

완료 정의(Definition of Done (DoD))

— 소프트웨어 개발에서 특정 작업이나 기능이 실제로 완료되었다고 간주하기 위해 충족해야 하는 명확한 기준 목록이다. 아키텍처 설계 단계에서 모델이 얼마나 구체적인 테스트 기준과 결과물을 제시하는지 평가하는 지표로 활용된다.

저장소 인식 능력(Repo Awareness)

— LLM이 주어진 코드 저장소(Repository)의 기존 구조, 파일, 로직을 정확히 파악하고 이를 바탕으로 새로운 계획을 세우는 능력이다. 기존 코드를 중복 설계하지 않고 활용하는 데 필수적인 성능 지표이다.

서브 에이전트(Sub-agent)

— 복잡한 전체 작업을 수행하기 위해 특정 역할(코딩, 기획, 감사 등)에 특화되어 독립적으로 작동하는 하위 AI 시스템이다. 메인 에이전트의 지시를 받아 세부 실행 단계를 처리함으로써 효율성을 높인다.