GeneralVLA-2: 기하 지식 기반 재구성과 거버넌스형 메모리를 활용한 로봇 계획

로봇이 언어 지시와 RGB-D 관측에서 3D 엔드 effector 경로를 계획할 때, monocular SAM3D 재구성이 포즈 불확실성과 비가시 영역으로 인해 왜곡될 수 있다. 또한 과거 경험의 재사용이 무작정 추가되는 append-only 메모리로는 현재 장면과 기하적 적용 가능성의 불일치를 해결하기 어렵다. GeoFuse-MV3D는 다중 뷰 기하 priors의 신뢰성 확인 및 축별 보정을 통해 고정된 입력 뷰에서만 기하 정보를 강화하고, KnowledgeBank는 품질·신뢰도·수명주기·충돌 정보를 갖춘 거버넌스 메모리로 재사용 품질을 제어한다. 이 둘의 결합은 재구성 정확도와 장기 계획의 신뢰성을 동시에 개선한다.

단계 1: 개체 중심의 3D 증거를 RGB-D 다중 뷰에서 생성한다. 다중 뷰가 있을 경우 GeoFuse-MV3D가 geometry-prior를 입력 뷰 마스크와 대조해 보정하고, soft visual hull과 axis-wise refinement를 적용해 기하만 융합한다. 단 step 2: 기존 KnowledgeBank를 거버너블 메모리로 확장하고, memory 품질과 충돌 정보를 메타데이터로 관리한 뒤, 정밀 검색으로 planning context를 구성한다. 단계 3: 3DAgent는 refined geometry와 structured KnowledgeBank를 바탕으로 3D 엔드-퍼렉스 경로를 산출하고, 로봇 제어 모듈로 전달한다.

1. GeoFuse-MV3D 구성: 입력 뷰 I_i, 마스크 M_i, 카메라 내부 K_i, 포즈 T_i로 구성된 다중 뷰 데이터 D를 사용한다. MV-SAM3D의 초기 Gaussian 오브젝트 G_0에서 Source A를 기하 priors로 사용하고, Source B(provider-free axis compensation)와의 축 보정 및 소프트 비주얼 헐을 적용해 p_out을 얻는다. 계산 흐름: s(p) = (1/ max(|V(p)|,1)) ∑_{i∈V(p)} M_i(π_i(p)); p' = c + (p - c)(1 - λ(p)); p'' = c + (p' - c) ⊙ a + δ; p_out = (1-α) x_A + α x_B; x_out^j = x_A^j + α w^j (x_B^j - x_A^j) with w^j = clip(s(x_A^j)/s(x_B^j), 0,1). 2) Governed KnowledgeBank: m = (q, c, y, z, κ, R, L, v); ϕ를 통해 점수 토큰을 매핑하고 S(q_t, X_t, m) = r_text(q_t, m) + κ_m + b_success(m) + b_recency(m) + b_usage(m) - p_conflict(m) - p_stale(m); 입장/합병/대체/폐기/요약/보관으로 관리한다. 3) 3DAgent 통합: ASM, 3D 포인트 구성, KnowledgeBank 컨텍스트를 받아 경로 τ_t를 산출하고, 로우-레벨 제어로 전달한다. 4) 학습 필요 없음: 파이프라인은 훈련 없이 런타임에서 재사용 가능한 지식을 활용한다.

5.1 GeoFuse-MV3D 평가(GSO-30): CD는 MV-SAM3D 대비 2.20% 감소, LPIPS은 2.02% 감소, PSNR은 2.36% 증가, SSIM은 1.03% 증가. 5.2 KnowledgeBank 평가: Terminal-Bench SR은 ReasoningBank 대비 4.53% 증가, SWE-Bench Verified의 Resolve Rate은 3.73% 증가하며 AS는 각각 4.95%, 5.65% 감소. 5.3 RLBench 평가(훈련 없이 14개 태스크): GeneralVLA-2가 다수의 태스크에서 우수한 경로를 생성하고, KnowledgeBank의 도입으로 일관된 개선이 관찰된다. 5.4 실세계 로봇 실험: four 작업에서 training-free 성공률이 63.33, 40.00, 53.33, 83.33으로 나타났다. Appendix의 부가 분석에서 구성요소의 기하 priors·마스크 검증·제한적 fusion의 기여가 확인된다.

아키텍처: GeoFuse-MV3D 재구성 파이프라인과 governed KnowledgeBank를 로봇 계획 스택의 planner-facing 인터페이스에 결합한다. 수식/알고리즘 핵심: (i) s(p)로 입력 뷰에서의 마스크 일치성 계산, (ii) p' 및 p''를 이용한 축 방향 보정, (iii) p_out 및 x_out 이어지는 합성으로 기하 정보만 융합, (iv) KnowledgeBank의 m 구조와 S(q_t, X_t, m) 함수로 메모리 선택을 제어, (v) admission/merge/discard 등의 라이프사이클로 관리. 차별점: prior 기반 재구성의 보수적 융합, provider-free axis compensation, 컨피덴스 기반 가중합으로 기하 정보의 신뢰성을 보장. 학습 세부사항: 학습 없이 런타임에 의존하는 평가 프레임워크. 구현 세부: 5-뷰 입력과 MV-SAM3D의 동일 입력 프로토콜을 유지하면서 GeoFuse-MV3D를 추가. 메모리 모듈: m = (q,c,y,z,κ,R,ℒ,v) 형태의 레코드, 리뷰 및 정합성 체크를 통한 품질 평가, 그리고 활성/요약/보관의 라이프사이클 관리. 평가 대상 데이터셋: GSO-30, Terminal-Bench 2.0, SWE-Bench Verified, RLBench 시뮬레이션, 실제 로봇 실험.

입력 관찰·마스크·포즈의 신뢰성에 의존하며, 다중 뷰 보정에서도 보정 실패가 재구성에 영향을 줄 수 있다. 거버넌스 메모리는 verifier의 신뢰도에 좌우되며, 메모리의 충돌/상태 관리 실패 시 성능 저하 가능성이 있다. 실제 실험은 단거리의 정적 물체 및 표면에 한정되며, 장거리 이동 로봇, 강한 Occlusion, Deformable Object, 사람-로봇 협업 시나리오에 대한 확장은 필요하다.