SUFLECA: CAD-이미지 정렬을 위한 확장된 기하학 기반 피처 학습

CAD 모델을 단일 RGB 이미지에 정확히 정렬하면 로봇 조작과 증강현실에서 객체의 3D 위치·자세·비율을 즉시 활용할 수 있다. 기존 제로샷 접근은 시각적 외형에 크게 의존해 부분 가림과 시뮬레이션-실제 도메인 차이에 약했으나, SUFLECA는 NOC 약지도와 광범위한 실세계·합성 데이터로 특성 공간을 기하학적으로 정렬하여 이런 약점을 줄였다. 그 결과 서빙 비용과 메모리 부담을 낮춘 채 반복적인 포즈 보정 없이도 경쟁적 성능을 달성해 실시간 적용 가능성을 크게 높였다.

CAD-이미지 정렬 문제는 이미지 픽셀과 CAD 표면 점 사이의 3D 대응을 찾은 뒤 그 대응으로부터 9차원 변환(회전, 병진, 비등방적 스케일)을 회복하는 문제이다. 기존 제로샷 접근은 시각적 표현의 유사성에 의존해 특징이 외형 차이에 민감했고 그 결과 가림이나 도메인 차이에서 대응이 불안정했다. 따라서 대응 추출에 앞서 특징 공간 자체를 기하학적으로 정렬하는 것이 핵심 출발점이다.

SUFLECA는 두 축의 설계로 문제를 해결한다. 첫째, 프리트레인된 백본을 고정한 채 Dense Prediction Transformer를 통해 다중 스케일 패치 특징을 융합하고, binned NOC 헤드로 NOC 값을 분류·회귀하도록 약지도 학습한다. 학습 손실은 각 축에 대한 교차엔트로피와 예측 NOC에 대한 L1 회귀 항을 합친 형태로 구성되어 학습 중 특성들이 공간적으로 매끄럽고 기하학적으로 정보량을 유지하도록 유도한다.

주요 벤치마크 ScanNet25k의 NMS 프로토콜에서 SUFLECA는 범주 평균 33.4%와 인스턴스 평균 42.3%의 정확도를 기록해 기존 제로샷 최강 후보였던 ZeroCAD보다 범주 기준 10.3포인트, 인스턴스 기준 12.2포인트 개선을 보였다. 논문은 또한 동일 벤치마크에서 SUFLECA가 일부 경우에 감독 학습 방법들을 능가했음을 보고했으며 이는 대규모 NOC 약지도와 기하학적 필터의 시너지 결과로 제시되었다. 효율성 관점에서는 기본 모델이 단일 인스턴스 정렬에 약 0.53초, 최고 2178MB VRAM로 동작해 고차원 특징을 쓰는 경쟁 기법들보다 메모리와 시간에서 유리했다.

문제 수식은 X_cam = R S X_cad + t 이며 이 식은 CAD 좌표계의 점 X_cad를 회전 행렬 R, 대각 비등방적 스케일 행렬 S, 그리고 평행이동 t로 변환해 카메라 좌표 X_cam을 얻는 변환을 정의한다. 변수 의미는 R이 SO(3)에 속하는 회전, S는 diag(sx,sy,sz)의 축 정렬 스케일, t는 3차원 평행이동이다. 입력-처리-출력 관점에서 이미지와 CAD 간 대응이 확보되면 이 식의 미지수 R,S,t를 Procrustes 계열의 회귀로 추정하고 결과 잔차로부터 정렬 품질 점수 S_fit = log det(Lambda)를 계산해 정렬 신뢰도를 산출한다.

논문이 명시한 주요 한계는 CAD 검색 정확도에 성능이 크게 의존한다는 점이다. 실제 실험에서 완전한 Scan2CAD 정답 대신 제로샷 검색으로 전환하면 인스턴스 정확도가 크게 떨어져 검색 모듈이 전체 파이프라인의 병목으로 작용했다. 또한 학습 데이터와 실험이 주로 실내 영역과 흔한 카테고리에 편중되어 있어 야외 장면이나 드문 객체 범주로의 확장성은 아직 검증되지 않았다.