GPT-5.5 vs Opus 4.7: 실제 오픈소스 레포지토리 기반 코딩 에이전트 벤치마크 결과

작성자가 제시한 구체적인 수치와 'Stet' 프레임워크의 평가 방식에 대해 흥미롭다는 반응이 많으며, 특히 단순 테스트 통과가 아닌 '리뷰 수용도'를 지표로 삼은 점이 높게 평가받고 있다.

• 통합 테스트가 부족한 레포지토리에서는 Opus 4.7보다 연관 코드를 더 넓게 탐색하는 GPT-5.5를 사용하는 것이 안전하다.
• 코드 리뷰 리소스가 부족한 팀이라면 패치 크기가 작은 Opus 4.7을 우선적으로 고려해볼 수 있다.
• 에이전트 도입 전 Stet과 같은 도구를 활용해 실제 배포된 PR 데이터를 기반으로 모델별 성공률을 먼저 측정하라.

• GPT-5.5는 실제 코드 리뷰 기준을 통과하는 '클린 패스' 비율이 가장 높아 실무 투입 시 가장 신뢰할 수 있는 모델로 평가됐다.
• Opus 4.7은 패치 크기를 작게 유지하는 데 탁월하지만, 복잡한 통합 과제에서는 필요한 수정을 누락하는 경향이 있어 주의가 필요하다.
• 모델의 성능은 레포지토리의 구조와 테스트 범위에 따라 상이하므로, 팀의 코드베이스 특성에 맞는 자체 벤치마크(Repo-specific evals) 수행이 필수적이다.