Vision Banana: Google DeepMind의 범용 컴퓨터 비전 모델

섹션별 상세

기존 비전 파이프라인은 세그멘테이션이나 깊이 추정 등 각 작업마다 별도의 전문 모델을 체이닝하여 관리해야 하는 복잡성이 존재했다. Vision Banana는 이러한 다중 모델 구조를 단일 범용 아키텍처로 통합하여 시스템 복잡성과 유지보수 오버헤드를 획기적으로 줄인다. 단일 모델 내에서 텍스트 프롬프트 변경만으로 2D 및 3D 이해 작업을 모두 수행할 수 있음을 입증했다.

Vision Banana와 기존 전문 모델들의 성능 비교 벤치마크 표 — Chart2D 이해, 3D 이해, 시각적 생성의 세 가지 카테고리에서 Vision Banana가 SAM 3, Depth Anything 3, Lotus-2 등 각 분야의 최고 모델들을 능가하거나 대등한 수치를 기록했음을 보여주는 핵심 근거 자료입니다.

근거

Vision Banana는 세그멘테이션 작업에서 SAM 3를, 깊이 추정에서 Depth Anything 3를 능가한다. — The Evaluation: Beating Specialists at Their Own Game 섹션 및 벤치마크 비교표

Vision Banana는 출력 공간을 RGB 이미지로 파라미터화하여 모든 비전 태스크를 이미지 생성 문제로 변환한다. 별도의 태스크 전용 헤드나 아키텍처 수정 없이 텍스트 프롬프트를 통해 출력의 구조를 제어하며, 생성된 RGB 값을 다시 메트릭 깊이나 법선 벡터로 디코딩한다. 이를 통해 범용 이미지 생성기가 범용 비전 이해기로 기능할 수 있는 통합 인터페이스를 제공한다.

Nano Banana Pro 모델에 가벼운 인스트럭션 튜닝을 적용하여 핵심 생성 능력의 손실 없이 새로운 비전 능력을 확보했다. 시각적 이해의 기초는 이미 생성 사전 학습 단계에서 구축되었으므로, 소량의 태스크별 데이터와 프롬프트 쌍만으로도 충분한 학습이 가능했다. 이는 LLM의 인스트럭션 튜닝 방식이 비전 모델에도 동일하게 효과적임을 보여주는 사례이다.

LLM 파이프라인과 이미지 생성 파이프라인의 비교 다이어그램 — Diagram텍스트 기반의 LLM 파이프라인과 노이즈로부터 비전을 생성하는 이미지 생성 파이프라인의 유사성을 시각화합니다. 두 파이프라인 모두 대규모 데이터셋 사전 학습을 통해 추론 및 시각적 이해와 같은 창발적 능력을 얻음을 보여줍니다.

Nano Banana Pro에서 Vision Banana로의 인스트럭션 튜닝 과정 — Diagram기존 이미지 생성 모델인 Nano Banana Pro가 인스트럭션 튜닝을 통해 세그멘테이션, 깊이 추정, 표면 법선 추정 능력을 갖춘 Vision Banana로 진화하는 아키텍처를 설명합니다. 텍스트 지시사항과 이미지를 입력받아 다양한 시각적 이해 결과를 출력하는 흐름을 보여줍니다.

2D 이해 작업에서 Vision Banana는 의미론적, 인스턴스, 지칭 표현 세그멘테이션을 수행하며 SAM 3를 능가하는 성능을 기록했다. 특히 지칭 표현 세그멘테이션에서는 자연어 설명과 객체 간의 복잡한 관계를 이해하여 정교한 마스크를 생성하는 능력을 보여주었다. 제로샷 설정에서도 전문 모델들과 대등하거나 더 나은 결과를 도출했다.

3D 이해 작업인 단안 메트릭 깊이 추정 및 표면 법선 추정에서 Depth Anything 3와 Lotus-2를 앞서는 정확도를 달성했다. 카메라 파라미터 없이도 단일 이미지에서 실제 물리적 거리를 추정할 수 있으며, 실제 스마트폰 촬영 이미지 테스트에서 구글 지도 측정값과 유사한 수준의 정확도를 입증했다. 이는 로보틱스나 자율주행 등 정밀한 3D 정보가 필요한 분야에 즉시 적용 가능한 수준이다.

근거

실제 스마트폰 촬영 이미지에서 추정한 깊이 값이 구글 지도 측정값(12.87m)과 유사한 13.71m로 나타났다. — 4. Monocular Metric Depth Estimation 섹션의 Kinkaku-Ji 예시 이미지 설명

기술

Vision Banana
Nano Banana Pro
Gemini 3
SAM 3
Depth Anything 3
Lotus-2

활용 사례

자율주행 시스템의 통합 시각 인지
로봇의 3D 환경 재구성 및 거리 측정
산업용 검사 시스템의 다중 태스크 분석

언급된 리소스

문서Vision Banana: Google DeepMind's Generalist Model (Original Post)

Vision Banana: Google DeepMind의 범용 컴퓨터 비전 모델

섹션별 상세

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 기사

SenseNova-Vision의 통합 생성 접근법

RINO: RGB 입력·출력 통합 인터페이스로 시각 과제들을 하나의 이미지 편집기로 처리하는 연구

컴퓨터 비전의 역사를 바꾼 10가지 핵심 논문

파운데이션 모델의 정의와 주요 예시 분석