장면을 객체로 재구성하는 인스턴스 구조화 3D 토크나이제이션: unposed 다중 뷰로부터의 인스턴스 단위 3D 토큰 그룹

본 연구는 3D 장면 표준 표현을 로컬 프리미티브에서 객체 단위 핸들로 전환하여 장면 이해와 조작을 동일한 표현으로 수행할 수 있음을 보였다. 객체 중심 토큰 그룹은 2D 감독만으로 인스턴스 구조를 자가 형성하며, 이 구조가 존재하면 편집과 개체 수준 검색이 추가 최적화 없이 가능해진다. 따라서 복수의 뷰에서 얻은 관측으로 로봇, AR/VR, 장면 검색 같은 downstream 시스템이 적은 상태공간으로 객체 단위 추론을 수행할 수 있다.

문제 출발점과 기존 한계는 다음과 같다. 기존 feed-forward 3D 재구성 방식은 장면을 많은 수의 로컬 프리미티브(점, 픽셀 정렬된 Gaussian, 개별 Gaussian 등)로 표현하며 이들에 2D feature를 부착하는 전략을 사용했다. 하지만 이러한 표현 단위는 객체 수준 문맥을 자연스럽게 포착하지 못하므로 객체 단위 질의·편집·검색을 위해 사후 그룹화나 병합 과정이 필요했다. 결과적으로 객체 수준 조작을 효율적으로 수행하기 어렵고 의미 정보가 많은 원소에 중복 저장되는 비효율이 발생했다. 논문의 해결 원리는 표현 단위를 객체 중심으로 재정의하는 것이다. 각 객체를 나타내는 instance token과 객체 내부의 세부를 담당하는 여러 anchor token으로 장면을 토크나이즈한다. anchor token은 patch-aligned 3D 좌표와 multi-view context feature로 초기화되어 image-anchor Transformer가 grounded anchor를 생성하고, anchor-group Transformer가 group token을 업데이트하여 anchor-to-group 소프트맥스 할당을 계산한다. 이렇게 하면 객체 정체성은 group token에, 지역적 기하·외형은 anchor token에 분리되어 저장되며 두 수준은 함께 렌더링 및 마스크 감독으로 학습된다. 이 접근이 달라지게 만드는 점은 표현의 사용 방식이다. 객체 단위 토큰 그룹은 렌더링과 분할 손실을 통해 학습되므로 인스턴스 구조가 사후 처리 없이 직접적으로 표현으로 존재한다. 이로 인해 인스턴스 수준 편집(제거, 변환, 삽입)과 open-vocabulary 검색이 토큰 단위 연산으로 직접 수행되며, 검색 복잡도는 Gaussian 수가 아니라 인스턴스 수에 비례하게 되어 효율성이 크게 향상된다.

전체 접근 방식의 개요는 다음과 같다. 입력으로 V개의 unposed RGB 이미지가 주어지면 frozen Geometry Foundation Model에서 multi-view features F_i와 pointmaps P_i를 추출한다. 이들을 패치화하여 컨텍스트 토큰 X로 플래튼한 뒤, farthest point sampling으로 선택된 K개의 앵커 위치로부터 초기 앵커 토큰을 구성하고 학습 가능한 L개의 그룹 토큰을 초기화한다. image-anchor decoder 𝒟_anchor가 컨텍스트 X를 참조하여 앵커 토큰 A를 갱신하고 anchor-group decoder 𝒟_group가 A를 참조하여 그룹 토큰 G를 갱신하는 두 단계 cross-attention 구조가 핵심 파이프라인이다. 핵심 메커니즘의 상세는 다음과 같다. 각 디코더는 cross-attention을 통해 쿼리(Q)와 컨텍스트(Z)의 관계를 학습하며, 앵커 토큰 A_k와 그룹 토큰 G_ℓ 사이의 유사도로 π_{k,ℓ}를 softmax로 계산한다. 각 앵커는 2층 MLP를 통해 N_g개의 3D Gaussian 속성(오프셋, 스케일, 회전, 불투명도, 구면조화 계수 등)을 예측하며, 생성된 각 Gaussian은 부모 앵커의 할당 확률을 상속받아 렌더링 시 인스턴스별로 합성된다. 인스턴스 마스크는 이러한 확률 맵을 alpha compositing하여 얻고 Hungarian matching으로 GT 마스크에 대응시켜 Dice와 BCE 기반의 mask loss를 적용한다. 학습 전략 및 세부사항은 다음과 같다. 렌더링 손실은 MSE와 LPIPS를 결합한 형태로 정의되며 ℒ_render = ℒ_mse + λ_lpips ℒ_lpips이다. 그룹링에는 ℒ_seg = λ_bce ℒ_bce + λ_dice ℒ_dice를 사용하고 전체 손실은 ℒ = ℒ_render + λ_seg ℒ_seg으로 구성된다. 초기 불안정한 재구성으로 인한 충돌을 방지하기 위해 λ_seg는 선형 warm-up을 적용하여 처음 1,500 스텝 동안 점차 증가시켰다. 앵커-그룹 할당에는 추가로 void 채널을 둬 비인스턴스 영역에 대한 앵커 분배를 억제했다.

주요 정량 결과는 ScanNet에서의 재구성, feature lifting, class-agnostic instance segmentation으로 구성되었다. 2-view 설정의 Table 1에서 본 방법은 target view와 source view 모두에서 feature-lifting mIoU와 정확도(Acc.)에서 1위를 기록하며 그룹 단위 의미 저장이 효율적임을 수치로 나타냈다. 같은 설정에서 표현 비용은 Gaussian 기반의 픽셀 정렬 방법들보다 현저히 적어 저장된 의미 스칼라 수가 Uni3R의 8.4M에서 본 논문은 59.4K로 대폭 감소했다. 인스턴스 분할 평가는 8-view 설정의 Table 2에 보고되었으며 본 방법은 AP, AP50, AP25 모든 지표에서 per-scene 최적화 기법과 비교해 우수한 성능을 보였다. 이 결과는 사후 최적화나 픽셀-정렬 Gaussian이 없이도 feed-forward 학습만으로 객체 단위 일관된 마스크를 획득할 수 있음을 시사한다. 재구성 지표(PSNR, SSIM, LPIPS)는 일부 픽셀 정렬 기법에 비해 열세를 보였으나 zero-shot 전이(MipNeRF360)에서는 격차가 줄어들어 anchor-group 구조가 전이성 측면에서 유리함을 보였다. 추가적으로 실험에서는 인스턴스 수준 편집(그룹별 렌더링·제거·삽입·강체 변환)과 open-vocabulary 3D instance retrieval 시연을 통해 토큰 그룹이 실제 연산 인터페이스로 작동함을 확인했다. 검색 복잡도는 인스턴스 수에 선형적으로 비례하여 대규모 Gaussian 수를 다루는 방법보다 효율적이었고, 검색 결과는 공간적으로 응집된 인스턴스를 반환했다.

전체 아키텍처 구조는 frozen geometry foundation model과 두 개의 cross-attention Transformer로 구성된다. 구체적으로 multi-view feature와 downsampled pointmap을 결합해 컨텍스트 토큰 X를 생성하고, farthest point sampling으로 K=1,024 앵커 위치를 선택해 초기 앵커 토큰 A^{(0)}=x_{a_k}+ϕ_pos(a_k)로 초기화한다. 그룹 토큰 G^{(0)}는 학습 가능한 L=100개의 임베딩으로 초기화되며 image-anchor decoder(𝒟_anchor, 6 transformer layers)와 anchor-group decoder(𝒟_group, 4 transformer layers)를 순차적으로 통과한다. 핵심 알고리즘적 기반은 anchor-to-group softmax 할당과 가우시안 생성 파이프라인이다. 각 앵커 A_k는 2-layer MLP를 통해 N_g=32개의 3D Gaussian 속성을 예측하고, 각 Gaussian은 부모 앵커의 π_{k,ℓ}를 상속받아 인스턴스별 확률맵을 구성한다. 렌더링 경로에서는 alpha compositing을 거쳐 view-level 확률맵과 RGB 이미지를 생성하며 ℒ_render는 MSE와 LPIPS(λ_lpips=0.05)의 합으로 구성된다. 그룹 매칭에는 Hungarian algorithm을 사용하며 mask cost는 Dice와 BCE의 선형 결합으로 계산된다. 구현 및 학습 세부사항으로는 pretrained VGGT를 기반으로 하며 스케일 정렬을 위해 VGGT에 pixel-aligned Gaussian head를 추가해 몇 에폭 간 파인튜닝을 수행했다. 학습 설정은 2-view 구성에서 약 20시간(4×RTX A6000)이고 8-view는 약 12시간(4×H200)이며 λ_seg는 0.1으로 설정하고 첫 1,500 스텝 동안 선형 warm-up을 적용했다. 의미 분해에는 그룹 임베딩 차원 D=512와 앵커 잔차 차원 d=8을 사용해 Group+Anchor 구조로 feature lifting을 최적화했다.

평가 범위가 주로 경계된 실내 장면(ScanNet)에 집중되어 있어 야외 또는 대규모 장면으로의 일반화가 불확실하다. 모델은 고정된 상한 L=100의 그룹 수를 사용하므로 장면에 존재하는 객체 수가 크게 늘어나는 경우 구조 및 학습 전략의 재설계가 필요하다. 현재 구성은 정적 장면을 전제로 하며 이동 객체를 포함하는 동적 장면이나 실시간 추론 환경을 지원하려면 추가적인 시간적 일관성 모델링과 효율화가 요구된다.