UNIT: Group Autoregressive Transformer를 통한 통합 기하학 학습

기하학 인식은 센서 관찰로부터 Dense 3D 구조를 추정하는 문제지만, 온라인/오프라인, 다중 모달, 긴 시퀀스, metric-scale를 각각 다루는 독립적 프레임워크들로 분절되어 왔다. 이 논문은 Group Autoregressive Transformer라는 통합 프레임워크를 제시하고, 그룹 단위의 자동회귀를 통해 서로 다른 뷰 구성과 모달리티를 하나의 일관된 파이프라인으로 결합한다. 또한, anchor-free Relational Modeling과 큐-스타일 KV 캐싱으로 긴 시퀀스의 메모리·연산 비용을 억제하고, Scale-Adaptive Geometry Loss로 metric-scale 일반화를 점진적으로 회복한다. 이로써 7개 대표 태스크에 걸친 10개 벤치마크에서 Unified Geometry Perception를 달성한다.

출발점과 한계: Geometry perception은 Sensor observations로부터 Dense 3D 구조를 추정하는 문제이나, 온라인/오프라인, 멀티-모달, 롱-호라이즌, metric-scale 요구가 서로 다른Paradigm으로 분리되어 있었고, 초기 프레임에 대한 의존성으로 memory가 증가하는 문제와 scale-ambiguity가 남아 있었다.

해결 원리: Group Autoregressive Transformer는 I≤t, O≤t를 입력으로 받아 Xt를 예측하는 조건확률을 그룹 단위로 인 autoregression한다. 그룹 내에서는 양방향(attention within group)과 그룹 간은 causal(attention across groups)으로 구성하여, 그룹 사이의 순서를 제어하고 온라인/오프라인 경계를 매끄럽게 연결한다.

실험적으로 UNIT은 10개의 공개 metric-scale 데이터셋에서 7개 태스크를 평가해, scale-invariant online, metric-scale online, metric-scale offline 설정에서 SOTA를 달성하고, scale-invariant offline 설정에서도 강한 성능을 보인다. 다중 모달 조합에서도 대부분의 구성에서 최고 성능을 나타내고, 4패널의 modal attention 구성은 ablation에서 우수한 성능을 확인했다. KV 캐싱의 큐 길이를 늘리고 그룹 크기를 확장할수록 성능이 향상되며, Q=N/3 정도의 균형이 성능과 효율의 좋은 절충임이 확인되었다.

구조: VGGT를 기반으로 한 Group Autoregressive Transformer로 확장. (1) Autoregression: 시계열의 xt를 I≤t, O≤t에서 예측하도록 설정. (2) Group Autoregression: 시간 축에서 G개의 관찰을 하나의 autoregressive 단위로 처리. (3) Multi-Modal: Ot를 모달 인코딩으로 결합하고, Mg_t에서 이미지 토큰과 모달 토큰을 융합하는 Modal Attn 적용. (4) Group Causal Connection: 그룹 간은 causal 마스킹, 그룹 내는 bidirectional attention. (5) Modal Attention: 이미지 토큰과 Depth/K/Extrinsics를 합친 토큰을 CrossAttn 형태로 융합.