섹션별 상세
인간의 공간 소통 방식을 모사하여 MLLM의 공간 통합 능력을 측정하는 COSMIC 벤치마크가 개발됐다. 899개의 다양한 장면과 5가지 작업에 걸친 1250개의 질문-답변 쌍을 통해 모델의 협업 능력을 체계적으로 평가한다. 이를 통해 개별 시점의 관찰을 하나의 일관된 전역 모델로 합치는 과정을 수치화할 수 있다.
MLLM 에이전트들은 시점 간 공유되는 기준 객체(Anchor)를 식별하는 데는 비교적 안정적인 성능을 보였다. 하지만 객체 간의 관계를 추론하거나 전체적인 공간 지도를 그리는 고차원적 작업에서는 성능이 급격히 저하되어 무작위 선택 수준에 머물렀다. 이는 모델이 부분적인 정보 연결에는 능숙하나 전체적인 구조를 파악하는 데는 취약함을 보여준다.
모델의 '생각하기(Thinking)' 기능은 기준 객체를 찾는 접지(Grounding) 능력 향상에는 도움을 주었으나 복잡한 소통에는 한계가 있었다. Gemini-3-Pro-Thinking 모델이 72%의 정확도로 가장 우수했으나 인간의 95% 성과와는 여전히 큰 격차가 존재한다. 단순한 추론 시간 연장만으로는 인간 수준의 공간 지능을 구현하기 어렵다는 사실이 확인됐다.
인간은 대화가 진행될수록 파트너와 공간 이해를 일치시키며 메시지가 정교해지는 반면 MLLM은 수렴하지 못하고 계속 탐색만 반복하는 경향을 보였다. 대화 내내 공유된 정신 모델을 형성하고 유지하는 능력이 결여되어 있어 정보의 축적과 통합이 원활하지 않다. 이러한 결과는 향후 MLLM 연구가 단순한 정보 추출을 넘어 지속적인 맥락 통합에 집중해야 함을 시사한다.
용어 해설
- 멀티모달 거대언어모델(MLLM)
- — 텍스트뿐만 아니라 이미지, 오디오 등 다양한 형태의 데이터를 동시에 처리하고 이해할 수 있는 인공지능 모델이다. 공간 소통 연구에서 시각적 입력과 언어적 출력을 연결하여 환경에 대한 통합된 이해를 구축하는 핵심 역할을 수행한다.
- 자기중심적 시점(Egocentric View)
- — 관찰자의 현재 위치와 시선 방향을 기준으로 사물을 바라보는 시점이다. COSMIC 벤치마크에서 각 에이전트는 서로 다른 자기중심적 시점을 가지며, 이를 대화로 공유하여 전체 공간 구조를 파악해야 한다.
- 타자중심적 모델(Allocentric Model)
- — 관찰자의 위치와 상관없이 환경 내 객체들 간의 절대적인 위치 관계를 나타내는 객관적 공간 모델이다. 여러 개의 부분적인 시점 정보를 통합하여 전체 지도를 만드는 과정이 곧 타자중심적 모델을 형성하는 과정이다.
- 공간 추론(Spatial Reasoning)
- — 물체의 위치, 방향, 거리 등 공간적 특성을 파악하고 이를 바탕으로 논리적인 결론을 도출하는 지능적 능력이다. MLLM이 복잡한 3D 환경에서 협업하고 문제를 해결하기 위해 반드시 갖춰야 할 필수적인 요소이다.
- 기준 객체(Anchor Object)
- — 서로 다른 시점에서 공통으로 관찰되어 공간을 연결하는 기준점이 되는 물체이다. 두 시점을 정렬하고 통합하기 위한 가장 기초적인 단서로 활용되며, 모델의 공간 접지 능력을 평가하는 척도가 된다.
기술
- Gemini-3-Pro-Thinking
- COSMIC Benchmark
활용 사례
- 로봇 협업 시스템
- 가상 환경 내 공간 질의응답
- 멀티 시점 이미지 분석
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 03. 28.수집 2026. 04. 07.출처 타입 PAPER
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
