DiningBench: 식단 도메인의 인지 및 추론을 위한 계층적 다중 뷰 벤치마크

기존 음식 데이터셋은 단일 이미지와 단순 분류에 치중되어 현대 Vision-Language Model(VLM)의 정밀한 영양 성분 추론이나 다각도 분석 능력을 평가하기에 부족했다. DiningBench는 실제 식당 메뉴 기반의 고난도 오답 선택지와 다중 뷰 이미지를 도입하여 AI가 음식의 양과 성분을 얼마나 정확히 이해하는지 측정하는 새로운 기준을 제시한다.

기존의 음식 인식 모델은 주로 CNN 기반의 분류기에 의존하여 '이 사진이 피자인가 파스타인가'를 맞추는 수준에 머물렀다. 하지만 실제 식단 관리나 주방 보조 AI에게 필요한 것은 접시에 담긴 음식의 정확한 양을 측정하고, 겉으로 비슷해 보이는 두 요리 사이의 미세한 재료 차이를 구분해내는 정밀한 추론 능력이다. Transformer 기반의 VLM은 강력한 일반화 능력을 갖췄지만, 음식 도메인 특유의 미세한 시각적 단서와 물리적 부피 개념을 연결하는 데 여전히 어려움을 겪는다.

DiningBench는 이 문제를 해결하기 위해 다중 뷰(Multi-view) 데이터를 핵심 anchor로 삼는다. 단일 시점에서는 가려져 보이지 않는 재료나 왜곡될 수 있는 음식의 양을 여러 각도의 이미지를 통해 보완함으로써, 모델이 3차원적인 공간 이해와 성분 분석을 동시에 수행하도록 유도한다. 이는 단순한 이미지-텍스트 매칭을 넘어 물리적 세계에 대한 인과적 추론을 요구하는 방식이다.

결과적으로 이러한 접근은 VLM이 단순히 학습 데이터의 통계적 패턴을 암기하는 것이 아니라, 실제 시각적 증거를 바탕으로 영양 성분을 계산하고 논리적인 답변을 생성하게 만든다. 실험 결과, 최신 모델들도 다중 뷰 정보를 통합하는 과정에서 성능 정체를 보이거나 Chain-of-Thought 과정에서 오류를 증폭시키는 등 식단 도메인 특화 추론의 높은 벽을 확인했다.

DiningBench는 메이투안(Meituan) 플랫폼의 2,000만 개 사용자 생성 콘텐츠(UGC)에서 출발하여 엄격한 필터링을 거친 6,057개의 고품질 요리 데이터를 기반으로 구축됐다. 전체 파이프라인은 크게 데이터 정제와 작업 생성의 두 단계로 나뉘며, 각 단계에서 최신 VLM을 판별기 및 생성기로 활용해 데이터의 밀도를 높였다.

Fine-Grained Classification 작업에서는 Gemini-3-Pro를 사용하여 동일 카테고리 내 시각적 유사도가 높은 7개의 오답을 추출한다. [입력 이미지와 정답 레이블 → 메뉴 내 유사 후보군 검색 → 시각적/의미적 유사도 연산 → 최종 8지 선다형 문제 생성] 과정을 거쳐 모델의 변별력을 테스트한다. Nutrition Estimation은 USDA 데이터베이스와 연동된 영양 성분 벡터 v ∈ R⁴(칼로리, 탄수화물, 단백질, 지방)를 예측하는 회귀 문제로 정의된다.

VQA 데이터셋은 다중 이미지 추론과 반사실적 추론(Counterfactual Reasoning)을 포함하도록 설계됐다. [여러 장의 음식 사진과 메타데이터 입력 → Gemini-3-Pro를 통한 질문-답변 쌍 생성 → LLM-as-a-Judge를 통한 논리성 검증 → 인간 전문가 최종 승인] 순으로 진행된다. 특히 Chain-of-Thought(CoT) 프롬프트를 강제하여 모델이 시각적 관찰, 재료 분석, 최종 답변 도출의 단계를 밟도록 구성했다.

29개의 최신 VLM을 평가한 결과, Gemini-3-Pro-Preview가 Fine-Grained Classification(81.55%)과 VQA(90.42%)에서 가장 우수한 성능을 보였다. 반면 영양 성분 추정(Nutrition Estimation)은 모든 모델에게 가장 어려운 과제로 나타났으며, SOTA 모델인 Gemini-3-Pro조차 평균 절대 백분율 오차(MAPE) 24.45%를 기록해 실용화까지는 개선의 여지가 큼을 보여주었다.

다중 뷰 입력의 효과 분석에서는 이미지 수가 1장에서 2장으로 늘어날 때 성능 향상이 가장 뚜렷했으나, 3장 이상부터는 성능이 정체되거나 오히려 하락하는 구간이 발견됐다. 이는 현재의 VLM 아키텍처가 다수의 시각적 토큰을 효과적으로 통합하지 못하고 노이즈로 처리할 가능성이 있음을 시사한다.

Chain-of-Thought(CoT)의 영향력은 작업에 따라 엇갈렸다. VQA에서는 논리적 흐름을 잡아주어 성능에 도움을 주었으나, 정밀한 시각적 구분이 필요한 분류나 수치 예측 작업에서는 오히려 잘못된 추론 단계를 거치며 오류를 증폭시키는 '성능 붕괴' 현상이 관찰됐다. 특히 소규모 오픈소스 모델에서 이러한 경향이 두드러졌다.

DiningBench는 3,021개의 고유 요리와 15,928장의 고해상도 이미지를 포함하며, 요리당 평균 5.27장의 다중 뷰를 제공한다. 데이터 구축 시 Qwen-2.5-VL-7B를 기반으로 지식 증류(Knowledge Distillation)를 수행하여 이미지 품질 평가 모델과 참조 매칭 모델을 별도로 학습시켜 UGC 데이터의 신뢰성을 확보했다.

영양 성분 추정의 정확도를 높이기 위해 Atwater 시스템(E ≈ 4×P + 4×C + 9×F)을 활용한 수학적 논리 검증을 도입했다. [단백질, 탄수화물, 지방 함량 입력 → Atwater 공식 연산 → 계산된 칼로리와 표기 칼로리 비교 → 오차 10% 초과 시 데이터 제외] 과정을 통해 데이터셋의 내부 일관성을 유지했다.

평가 지표로는 분류 정확도(Acc), 영양 추정 오차(MAE, RMSE, MAPE), 그리고 VQA 답변의 의미적 일관성을 측정하기 위한 LLM-as-a-Judge 방식을 채택했다. 실험을 통해 모델 규모가 클수록 다중 뷰 정보를 더 잘 활용하는 상관관계를 확인했으며, 이는 효율적인 다중 뷰 통합 메커니즘이 향후 VLM 연구의 핵심 과제임을 나타낸다.

데이터 소스의 특성상 중국 요리에 편향된 경향이 있어 글로벌 요리 문화 전반으로의 일반화에는 한계가 있을 수 있다. 또한 영양 성분 정답 생성 과정에서 일부 LLM의 추론 결과에 의존한 부분이 있어 잠재적인 편향이나 미세한 수치 오류가 포함될 가능성이 명시되어 있다.