Claude Fable 5 비전 성능 평가 및 벤치마크

섹션별 상세

Claude Fable 5는 비전 작업에서 최신 모델임을 표방했으나, Roboflow의 67개 실세계 비전 벤치마크에서 74.63%의 정확도로 10위를 기록했다.

근거

Claude Fable 5는 67개 비전 작업 벤치마크에서 74.63% 정확도로 10위를 기록했다. — Roboflow Vision Evals leaderboard section 출처

Gemini 3.5 Flash, Gemini 3.1 Pro, GPT-5.4, GPT-5.5 등 경쟁 모델이 상위권을 차지했으며, Fable 5는 이들보다 낮은 정확도와 높은 비용, 느린 처리 속도를 보였다.

근거

Gemini 3.5 Flash는 Fable 5보다 6개 더 많은 작업을 통과하고 3배 더 빠르게 응답한다. — Comparison text in the body

카테고리별 분석 결과, 객체 이해(Object Understanding)에서는 만점을 기록했으나, 객체 계수(Object Counting)와 같은 정밀한 작업에서는 여전히 한계를 드러냈다.

모든 범용 VLM이 객체 계수에서 어려움을 겪는 상황에서, 더 큰 모델보다는 특정 작업에 최적화된 소형 탐지 모델을 사용하는 것이 효율적이다.

실무에서는 RF-DETR과 같은 전문 탐지 모델로 객체를 계수하고, Claude Fable 5를 시각적 질의응답이나 구조화된 데이터 추출에 활용하는 하이브리드 방식이 권장된다.

비전 언어 모델(VLM): — 이미지를 입력받아 텍스트로 이해하거나 설명하는 인공지능 모델이다. 시각적 데이터의 의미를 파악하고 질의응답이나 문서 추출 등의 작업에 활용된다.
시각적 질의응답(VQA): — 이미지를 보고 그 내용에 관한 질문에 답변하는 작업이다. 모델의 시각적 이해 능력과 추론 능력을 평가하는 핵심 지표로 사용된다.
객체 계수(Object Counting): — 이미지 내 특정 객체의 개수를 정확히 세는 작업이다. 범용 VLM이 가장 어려워하는 정밀 비전 작업 중 하나로, 높은 정확도를 위해 전문 탐지 모델이 요구된다.