9종의 최신 LLM 대상 식단 칼로리 추정 벤치마크 결과

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

9개의 주요 LLM을 대상으로 텍스트 기반 칼로리 추정 성능을 측정한 결과, Claude Sonnet 4.6이 정확도에서, GPT-5.4 Nano가 속도에서 가장 우수한 성적을 거두었다.

배경

칼로리 추적 앱 개발 과정에서 텍스트 입력 시 영양 정보를 반환하는 기능의 최적 모델을 찾기 위해 9개 모델의 API 성능을 직접 비교 분석했다.

의미 / 영향

이 벤치마크는 특정 도메인에서 모델 규모와 성능이 항상 비례하지 않음을 보여준다. 특히 Sonnet 4.6이 상위 모델인 Opus보다 효율적이고, 최신 소형 모델이 속도 면에서 압도적인 우위를 점한다는 점은 서비스 설계 시 모델 선택의 중요성을 시사한다.

주요 논점

01찬성다수

Claude Sonnet 4.6이 정확도와 속도의 균형 면에서 식단 분석 작업에 가장 우수한 모델이다.

02중립소수

GPT-5.4 Nano는 정확도는 낮지만 속도가 매우 빨라 특정 유즈케이스에서는 고려할 만하다.

03반대다수

Gemini 3.1 Pro는 지연 시간이 너무 길고 정확도도 낮아 이 작업에는 부적합하다.

합의점 vs 논쟁점

합의점

Claude Sonnet 4.6이 텍스트 기반 칼로리 추정에서 가장 정확한 모델이다.
OpenAI의 모델들이 전반적으로 지연 시간(Latency) 측면에서 우위에 있다.

논쟁점

Haiku 4.5가 소형 모델임에도 불구하고 정확도가 가장 낮게 나온 점은 의외의 결과이다.

실용적 조언

정확한 영양 분석이 필요하다면 Claude Sonnet 4.6을 사용하라.
매우 빠른 응답이 필요한 간단한 입력에는 GPT-5.4 Nano를 고려하라.
Gemini 3.1 Pro는 이 특정 작업에서 가성비와 성능이 모두 떨어지므로 제외하는 것이 좋다.

섹션별 상세

실험 설계는 9개 모델(Claude, GPT, Gemini 계열)을 대상으로 동일한 시스템 프롬프트와 JSON 스키마를 사용하여 텍스트 기반 칼로리 추정 성능을 측정했다. Jupyter Notebook 환경에서 각 제공자의 API를 직접 호출했으며, 온도 설정 0.2와 최대 4096 토큰 제한을 적용하여 일관성을 유지했다. 결과는 실제 영양 데이터베이스의 수치와 비교하여 평균 절대 오차율(MAPE)과 중앙값 지연 시간으로 산출됐다.

Claude Sonnet 4.6이 약 1.7%의 오차율을 기록하며 가장 높은 정확도를 보였으며, Opus 4.6이 2.1%로 그 뒤를 이었다. Sonnet 4.6은 Opus보다 약 800ms 더 빠른 속도를 보여주며 해당 작업에서 압도적인 효율성을 증명했다. 반면 Anthropic의 소형 모델인 Haiku 4.5는 5.2%의 오차율로 테스트 대상 중 가장 낮은 정확도를 기록했다.

OpenAI의 GPT-5.4 제품군은 전반적으로 1.5초에서 2.5초 사이의 지연 시간을 기록하며 가장 빠른 응답 속도를 보여주었다. 특히 GPT-5.4 Nano는 매우 인상적인 속도를 자랑했으나, 정확도 측면에서는 3.9%에서 4.9% 사이의 오차를 보이며 속도와 정확도 간의 트레이드오프가 뚜렷하게 나타났다. 실시간 응답이 중요한 서비스에서는 GPT-5.4 계열이 유리한 선택지가 될 수 있다.

Google의 Gemini 3 Flash는 약 3%의 오차율과 4.1초의 지연 시간으로 정확도와 속도 사이에서 적절한 균형을 잡은 중간 수준의 성능을 보였다. 그러나 Gemini 3.1 Pro는 약 7.1초라는 가장 긴 지연 시간을 기록했음에도 오차율이 4.3%에 달해, 해당 작업에서는 성능 대비 시간 소모가 너무 커서 실용성이 떨어지는 것으로 평가됐다.

용어 해설

Mean Absolute Percentage Error: — 예측값과 실제값의 차이를 실제값으로 나눈 절댓값의 평균으로, 모델의 예측 정확도를 백분율로 나타내는 지표이다. 이 수치가 낮을수록 모델이 실제 칼로리 수치를 더 정확하게 맞혔음을 의미한다.
Latency: — API 요청을 보낸 시점부터 응답을 완전히 받을 때까지 걸리는 전체 시간을 의미한다. 실시간 식단 기록 서비스에서 사용자 경험을 결정하는 핵심적인 성능 지표로 활용된다.
JSON Schema: — 데이터의 구조를 정의하는 규격으로, LLM이 칼로리, 단백질, 지방 등의 영양 정보를 정해진 형식에 맞춰 출력하도록 강제하는 역할을 한다. 이를 통해 후속 데이터 처리가 용이해진다.
System Prompt: — LLM의 역할과 행동 지침을 규정하는 최상위 지시문이다. 모든 모델에 동일한 시스템 프롬프트를 적용함으로써 모델 간의 순수한 추론 성능 차이를 공정하게 비교할 수 있다.

언급된 도구

Jupyter Notebook추천

벤치마크 테스트 환경 구축 및 실행