실용적 조언
- 정확한 영양 분석이 필요하다면 Claude Sonnet 4.6을 사용하라.
- 매우 빠른 응답이 필요한 간단한 입력에는 GPT-5.4 Nano를 고려하라.
- Gemini 3.1 Pro는 이 특정 작업에서 가성비와 성능이 모두 떨어지므로 제외하는 것이 좋다.
섹션별 상세
실험 설계는 9개 모델(Claude, GPT, Gemini 계열)을 대상으로 동일한 시스템 프롬프트와 JSON 스키마를 사용하여 텍스트 기반 칼로리 추정 성능을 측정했다. Jupyter Notebook 환경에서 각 제공자의 API를 직접 호출했으며, 온도 설정 0.2와 최대 4096 토큰 제한을 적용하여 일관성을 유지했다. 결과는 실제 영양 데이터베이스의 수치와 비교하여 평균 절대 오차율(MAPE)과 중앙값 지연 시간으로 산출됐다.
Claude Sonnet 4.6이 약 1.7%의 오차율을 기록하며 가장 높은 정확도를 보였으며, Opus 4.6이 2.1%로 그 뒤를 이었다. Sonnet 4.6은 Opus보다 약 800ms 더 빠른 속도를 보여주며 해당 작업에서 압도적인 효율성을 증명했다. 반면 Anthropic의 소형 모델인 Haiku 4.5는 5.2%의 오차율로 테스트 대상 중 가장 낮은 정확도를 기록했다.
OpenAI의 GPT-5.4 제품군은 전반적으로 1.5초에서 2.5초 사이의 지연 시간을 기록하며 가장 빠른 응답 속도를 보여주었다. 특히 GPT-5.4 Nano는 매우 인상적인 속도를 자랑했으나, 정확도 측면에서는 3.9%에서 4.9% 사이의 오차를 보이며 속도와 정확도 간의 트레이드오프가 뚜렷하게 나타났다. 실시간 응답이 중요한 서비스에서는 GPT-5.4 계열이 유리한 선택지가 될 수 있다.
Google의 Gemini 3 Flash는 약 3%의 오차율과 4.1초의 지연 시간으로 정확도와 속도 사이에서 적절한 균형을 잡은 중간 수준의 성능을 보였다. 그러나 Gemini 3.1 Pro는 약 7.1초라는 가장 긴 지연 시간을 기록했음에도 오차율이 4.3%에 달해, 해당 작업에서는 성능 대비 시간 소모가 너무 커서 실용성이 떨어지는 것으로 평가됐다.
용어 해설
- 평균 절대 오차율(Mean Absolute Percentage Error)
- — 예측값과 실제값의 차이를 실제값으로 나눈 절댓값의 평균으로, 모델의 예측 정확도를 백분율로 나타내는 지표이다. 이 수치가 낮을수록 모델이 실제 칼로리 수치를 더 정확하게 맞혔음을 의미한다.
- 지연 시간(Latency)
- — API 요청을 보낸 시점부터 응답을 완전히 받을 때까지 걸리는 전체 시간을 의미한다. 실시간 식단 기록 서비스에서 사용자 경험을 결정하는 핵심적인 성능 지표로 활용된다.
- JSON 스키마(JSON Schema)
- — 데이터의 구조를 정의하는 규격으로, LLM이 칼로리, 단백질, 지방 등의 영양 정보를 정해진 형식에 맞춰 출력하도록 강제하는 역할을 한다. 이를 통해 후속 데이터 처리가 용이해진다.
- 시스템 프롬프트(System Prompt)
- — LLM의 역할과 행동 지침을 규정하는 최상위 지시문이다. 모든 모델에 동일한 시스템 프롬프트를 적용함으로써 모델 간의 순수한 추론 성능 차이를 공정하게 비교할 수 있다.
언급된 도구
Jupyter Notebook추천
벤치마크 테스트 환경 구축 및 실행
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 04. 07.수집 2026. 04. 07.출처 타입 REDDIT
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
