LLM 코딩 에이전트 성능 측정 도구 'retort' 분석

LLM 리더보드는 범용 벤치마크에 의존하여 실제 엔지니어링 환경의 비용과 신뢰도를 반영하지 못한다. 'retort'는 통계적 실험 설계(Design of Experiments)를 통해 프로그래밍 언어, 모델 버전, 도구 조합에 따른 실제 성능을 측정한다. 실험 결과, 모델은 신뢰도, 언어는 코드 품질, 작업 난이도는 비용에 각각 영향을 미치는 것으로 나타났다. 최신 모델은 어려운 작업에서 높은 신뢰도를 보이지만 비용이 상승하며, 작업 성격에 따라 최적의 모델과 설정이 달라진다.