본문으로 건너뛰기

ChatGPT, Gemini, Perplexity의 미국 도시별 식당 추천 정확도 벤치마크 결과

ChatGPT, Gemini, Perplexity를 대상으로 100개 도시 식당 추천의 정확도를 측정한 결과, 상당수의 환각 현상과 데이터 지연 문제가 확인됐다.

커뮤니티 반응

작성자가 직접 수행한 연구 데이터셋과 리포트에 대해 구체적인 수치가 제시되어 신뢰도가 높다는 반응이다.

주요 논점

01중립다수

AI의 식당 추천은 데이터 지연과 지리적 오차로 인해 아직 실무에서 단독으로 사용하기에는 한계가 명확하다.

합의점 vs 논쟁점

합의점

  • LLM의 학습 데이터 컷오프로 인해 폐업 정보 반영이 늦어지는 현상이 공통적으로 관찰된다.
  • 시카고와 같은 대도시는 상대적으로 AI의 추천 정확도가 높게 나타난다.

논쟁점

  • 모델별(ChatGPT vs Gemini vs Perplexity) 개별 성능 편차에 대한 구체적인 비교 우위 논쟁이 있을 수 있다.

실용적 조언

  • 로컬 비즈니스 관련 AI 앱 개발 시, LLM의 응답을 그대로 노출하지 말고 외부 지도 API로 위치와 영업 상태를 반드시 교차 검증해야 한다.

섹션별 상세

AI 모델들의 식당 추천 데이터에서 심각한 정보 노후화(Staleness) 문제가 발견됐다. 약 600건의 추천 결과가 이미 영구 폐업한 사업장으로 확인되었으며, 이는 모델의 학습 데이터 컷오프와 실시간 정보 반영 사이의 지연을 입증한다. 실무적으로는 실시간 API 연동 없는 LLM의 장소 추천이 사용자 경험을 저해할 수 있음을 시사한다.
지리적 경계를 오인하는 공간적 드리프트(Spatial Drift) 현상이 두드러지게 나타났다. 총 1,078개의 추천 항목이 요청된 도시가 아닌 완전히 다른 도시에 위치한 장소로 분류되었다. 이는 LLM이 텍스트 기반의 주소 정보는 인지하지만, 실제 행정 구역이나 좌표 기반의 공간적 제약 조건을 엄격히 준수하지 못함을 보여준다.
도시별 AI 정확도를 수치화한 'City IQ' 지표를 통해 시카고가 종합 점수 89점으로 1위를 차지했다. 이 점수는 존재 여부(30점), 요리 유형 정확도(20점), 독립성(20점), 베이지안 품질(20점), 위치 정확도(10점)를 합산하여 산출됐다. 특정 지역에 대한 학습 데이터의 밀도나 품질에 따라 AI의 추천 신뢰도가 도시마다 상이하게 나타난다는 근거가 된다.

용어 해설

공간적 접지(Spatial Grounding)
AI 모델이 현실 세계의 물리적 위치나 지리적 정보를 정확하게 이해하고 연결하는 능력이다. 이 연구에서는 식당의 실제 위치와 도시 경계를 AI가 얼마나 정확히 매칭하는지 평가하는 지표로 사용됐다.
환각 현상(Hallucination)
AI가 학습 데이터에 없는 사실을 마치 사실인 것처럼 지어내어 응답하는 현상이다. 본 조사에서는 이미 폐업한 식당을 추천하거나 존재하지 않는 장소를 생성하는 오류로 나타났다.
베이지안 스코어링(Bayesian Scoring)
단순 평균 별점의 왜곡을 방지하기 위해 리뷰 개수를 가중치로 반영하여 신뢰도를 계산하는 통계적 방법이다. 리뷰 수가 적은 고득점 식당보다 리뷰가 많은 안정적 식당을 공정하게 평가하기 위해 도입됐다.

언급된 도구

Google Places API추천

식당의 실제 위치, 영업 상태, 별점 정보를 확인하기 위한 기준 데이터(Ground Truth)로 사용됨

AI 분석 전체 내용 보기

AI 요약 · 북마크 · 개인 피드 설정 — 무료

출처 · 인용 안내

원문 발행 2026. 05. 06.수집 2026. 05. 06.출처 타입 REDDIT

인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.