비전 태스크를 위한 최적의 코딩 에이전트는 무엇인가?

섹션별 상세

벤치마크는 Claude Code, Gemini CLI, OpenAI Codex 세 가지 에이전트를 대상으로 CLI 환경에서 자율적으로 코드를 작성하고 실행하도록 설계됐다. 평가 항목은 SAM3를 이용한 새 카운팅, 비디오 내 차량 카운팅, RTSP 스트림 분석, 아보카도 카운팅, 번호판 인식(LPR)의 5가지 실무적 비전 태스크로 구성됐다.

5가지 비전 태스크에 대한 Claude, Gemini, Codex의 성능 평가 결과표 — Chart각 에이전트의 태스크별 토큰 사용량, 소요 시간, 최종 점수를 비교하여 보여준다. Claude가 대부분의 항목에서 높은 점수를 기록하며 우위를 점하고 있음을 수치로 증명한다.

Claude Code는 5개 태스크 중 4개에서 승리하며 압도적인 성능을 보여주었다. 특히 결과 검증을 위해 더 많은 토큰을 사용하고 스스로 결과물을 확인하는 과정을 거쳤으며, RTSP 스트림 처리 시 성능 최적화를 위해 IoU 기반 트래커를 직접 구현하는 등 높은 문제 해결 능력을 보였다.

Gemini CLI는 번호판 인식(LPR) 태스크에서 유일하게 성공하며 1승을 거두었다. Hugging Face Hub에서 특정 모델(license-plate-object-detection)을 찾아내어 EasyOCR과 결합하는 등 외부 리소스 활용 능력이 돋보였으나, 전반적인 실행 속도가 Claude에 비해 느리고 타임아웃이 발생하는 경우가 있었다.

OpenAI Codex는 지시사항을 무시하거나 스크립트를 생성만 하고 실제로 실행하지 않는 등 자율 코딩 에이전트로서의 신뢰성이 낮게 측정됐다. 특히 샌드박스 환경에서 실행 명령을 내렸음에도 불구하고 단순 코드 생성에 그치는 경우가 많아 실무 적용에 한계가 있음이 확인됐다.

기술

Claude Code
Gemini CLI
OpenAI Codex
SAM 3
YOLO World
EasyOCR
Python

활용 사례

객체 카운팅
실시간 스트림 분석
번호판 인식 시스템 구축

언급된 리소스

문서Roboflow Blog: Which is the Best Coding Agent for Vision tasks?