단일 LLM의 코드 리뷰 성능 한계와 다중 모델 활용의 이점

커뮤니티 반응

연구 방법론과 통계적 접근에 대한 피드백을 요청하는 글에 대해 커뮤니티는 연구의 가치를 인정하며 방법론적 조언을 제공하는 분위기이다.

01중립다수

단일 모델의 한계를 지적하고 다중 모델 조합의 효용성을 입증함.

단일 LLM의 코드 리뷰 성능 분석 결과, 재현율이 64%를 넘지 못하며 평균적으로 절반 정도의 결함만 탐지하는 것으로 나타났다. 18개의 코드 아티팩트와 154개의 확정 결함을 대상으로 8개 모델 버전을 테스트한 결과이다.

모델 간 결함 탐지 중복도가 낮아(중앙값 Jaccard 0.37) 여러 모델을 조합할 때 시너지가 발생한다. 모델을 하나씩 추가할 때마다 커버리지가 33.6%(1개)에서 88.7%(4개)까지 상승했다.

실무적으로는 단일 모델에 의존하지 않고 2~3개의 모델을 독립적으로 실행한 뒤, 사람이 결과를 대조하여 최종 결함을 확정하는 방식이 권장된다. 가장 큰 성능 향상은 서로 다른 제공업체의 모델을 최소 두 개 이상 조합할 때 나타난다.