실무 코드베이스 감사를 통한 오픈 가중치 모델과 상용 LLM의 성능 비교

작성자의 구체적인 비교 실험에 대해 대체로 긍정적이며, 벤치마크 수치보다 실제 사용 경험이 중요하다는 점에 많은 사용자가 공감하고 있습니다.

• 코드베이스 감사 시 모델이 '충돌 없음'이라고 답하면 반드시 수동으로 재검증해야 하며, 비판적인 분석을 수행하는 모델을 우선적으로 선택하라.
• 속도가 중요한 단순 작업에는 Gemini Flash를, 정밀도가 중요한 분석에는 GPT-4o나 GLM-4를 조합하여 사용하는 것이 효율적이다.

• 실무 코드 감사에서 벤치마크 점수와 실제 성능 사이에는 상당한 괴리가 존재하며, 대부분의 모델이 긍정적인 답변에 치우쳐 오류를 놓치는 경향이 있다.
• 정밀한 분석 작업에는 GPT-4o와 GLM-4가 가장 적합하며, 전체적인 시스템 구조 파악과 파일 간 연결성 분석에는 Claude 3.5 Sonnet이 강점을 보인다.
• 단순하고 기계적인 작업에는 속도가 빠른 Gemini 1.5 Flash가 유용할 수 있으나, 의사결정이 필요한 정밀 작업에는 오픈 가중치 모델을 신뢰하기 어렵다.