Lite Any Stereo V2: 더 빠르고 강력한 효율형 제로샷 스테레오 매칭

고성능 스테레오 모델은 대개 큰 연산 비용과 추가 priors 때문에 임베디드·로봇 환경에 적용이 어렵다. LAS2는 아키텍처와 학습 전략을 함께 재설계해 경량 모델이 실세계 제로샷 일반화에서 정확도와 실시간성(낮은 지연)을 동시에 확보할 수 있음을 보였다.

문제 출발점과 기존 한계: 스테레오 매칭은 좌우 이미지 간의 픽셀 대응(correspondence)을 찾는 문제로, 많은 최신 고정밀 방법은 disparity 차원까지 포함하는 3D/4D cost volume과 3D 정규화(3D convolutions)를 사용한다. 3D 처리는 기하학적 정보를 잘 보존하지만 연산·메모리·실제 추론 지연이 크게 증가해 엣지·임베디드 환경에서는 배포가 어렵다. 또한 대형·정확도 지향 모델들은 종종 거대한 backbones나 monocular depth prior를 추가해 제로샷 일반화를 얻지만 비용이 크다.

해결 원리(아키텍처 측면): LAS2는 cost volume을 유지하되, 실제 지연(latency)을 목표로 3D 정규화 대신 2D 전용 aggregation을 사용한다. 구체적으로, 다중 스케일 특징을 1/4 해상도로 정렬한 뒤 각 disparity에 대해 특징 내적으로 correlation을 만들고, 이 3차원 코스트를 2D U-Net 스타일의 residual 블록(FasterNet 계열)으로 처리해 공간적·disparity 정보를 2D 연산으로 정제한다. 이후 soft-argmax로 연속적 disparity를 회귀하고 convex upsampling으로 원해상도로 복원한다. 이 흐름은 3D 합성곱을 제거해 연산 패턴을 GPU·Orin에서 더 효율적으로 만들었다.

해결 원리(학습 측면): 합성 데이터로 강한 기하학 학습을 먼저 수행한 뒤, self-distillation으로 입력 교란에 견디는 표현을 학습시켜 도메인 불변성을 얻는다. 마지막으로 실세계 무라벨 데이터에 대해 고성능 teacher로부터 의사 레이블을 받아 fine-tune하되, 신뢰할 수 있는 픽셀만 골라 사용하고 클램핑으로 큰 오차의 영향력을 제한한다. 이렇게 하면 합성에서 얻은 기하학적 정확성을 유지하면서 실세계 외관 차이에 적응하는 과정이 안정화된다.

달라지는 점(정량·실제 적용): 2D aggregation과 FasterNet 기반 디자인은 MACs만으로 평가할 때보다 실제 지연에서 큰 개선을 가져왔다. 예컨대 LAS2-M은 이전 효율형 SOTA(LAS)에 비해 H200에서 약 1.6×, Orin에서 약 1.9× 더 빠른 추론을 보고했고, LAS2-H는 Fast-FoundationStereo 대비 H200에서 1.8×, Orin에서 2.7× 더 빠른 것으로 보고되었다. 학습 파이프라인은 합성→self-distill→pseudo-KD의 조합이 각 단계별로 성능과 안정성을 누적시키는 것으로 나타났다.

전체 접근과 구성: LAS2는 두 축(아키텍처·학습)에서 개선을 수행해 경량 모델이 실세계 제로샷 성능을 유지하면서 실제 추론 지연을 낮추도록 설계되었다. 아키텍처 측면에서 LAS2-S/M/L은 feed-forward 파이프라인(Feature extraction → Correlation(cost volume) → 2D cost aggregation → Soft-argmax → Convex upsampling)로 구성된다. LAS2-H는 LAS2-M의 출력과 중간 표현을 초기값으로 사용해 반복적(Iterative) refinement 모듈로 정밀도를 높인다.

피드포워드 상세(Feature / Correlation / Aggregation): 입력 좌·우 이미지 I_L, I_R에서 공유 가중치의 FasterNet 기반 인코더로 다중 스케일 특징 F_L^s, F_R^s를 추출하고 1/4 해상도로 업샘플한다. Correlation은 각 픽 위치 (h,w)와 disparity d에 대해 내적을 계산해 C(d,h,w)= (1/N_c)⟨F_L(h,w), F_R(h,w−d)⟩를 구성한다. 이 코스트를 2D U-Net 스타일의 aggregation 네트워크(스트라이드 잔여 레이어 + transposed-conv 업샘플, FasterNet 블록, attention 포함)로 정제한 뒤 soft-argmax로 d = Σ d · softmax(C_agg(d))를 계산한다. soft-argmax 설명: 각 disparity에 대해 e^{logit_d}/Σe^{logit_j}를 계산해 확률화한 뒤 가중합하면 연속적 disparity가 얻어진다.

Iterative 상세(LAS2-H): LAS2-H는 LAS2-M로 얻은 초기 disparity d_init과 그룹별 상관관계 C_g(g,d,h,w)를 유지한다. 반복 k에서 Lookup(C_g, C_a, d_{k−1})으로 현재 추정 주변의 국소 기하학 피쳐 G_k을 샘플링하고, Encoder_g(G_k), Encoder_d(d_{k−1}), 그리고 left 이미지의 context c를 결합해 ConvGRU(1×1 및 3×3) 기반 업데이트를 수행한다. 업데이트된 은닉 상태 h_k에서 Head_d(h_k)를 통해 Δd를 예측하고 d_k = d_{k−1} + Δd를 계산한다. 이 과정은 n=4 반복을 기본으로 사용되며 각 단계에서 convex upsampling으로 고해상도 D_k를 복원한다.

학습 전략(세 단계 및 손실): Stage①은 합성 데이터(약 1.8M 샘플)로 smooth L1 disparity 회귀(ℒ_disp = smooth_L1(D − D_gt))를 수행한다. Iterative 모델은 각 반복 출력에 대해 가중 L1을 추가하며 ℒ_iter = ℒ_disp + Σ_{k=1}^n γ^{n−k} ∥D_k − D_gt∥_1 (γ=0.9)을 사용한다. Stage②는 self-distillation으로 teacher(깨끗 입력)의 특징 F와 student(교란 입력) 특징 F' 사이의 feature-alignment loss ℒ_feat = 1 − (1/HW) Σ cos(F_i, F'i)을 도입해 입력 교란에 강한 표현을 학습시킨다. Stage③는 FoundationStereo로 생성한 실세계 의사 레이블로 fine-tune하되, M_valid = M_LR ∧ M_edge ∧ M_sky로 신뢰 마스크를 구성하고 클램프 손실 ℒ_clamp = Σ{M_valid} min(L_disp, τ_clamp)으로 큰 오차의 영향을 제한한다.

구현·튜닝 세부사항: 최대 disparity D_max=192, 입력 크기 트레이닝 크롭 384×768, AdamW + one-cycle lr(peak 2e−4), 총 스텝: Stage① 200K, Stage② 50K, Stage③ 200K, 배치 128, H200 기반 벤치마크와 Orin NX 8G에서 실측 latency 측정. FasterNet 블록과 residual 설계가 latency/정확도 균형에서 채택되었다.

메인 벤치마크 성능: Zero-shot 평가(모든 타깃 도메인에서 가중치 고정)에서 LAS2 시리즈는 효율형 방법 그룹에서 최상위 성능을 보였다. 예를 들어 LAS2-M은 KITTI 2012 D1=2.88, EPE=0.74, KITTI 2015 D1=3.61, EPE=0.95을 달성했고, LAS2-L과 LAS2-H는 각각 더 낮은 오류를 기록했다(표 II 참조). LAS2-M은 기존 효율형 feed-forward SOTA인 LAS보다 전반적으로 오류를 낮추면서 latency도 개선했다.

속도·효율성 비교: 실측 latency는 H200/Orin 기준으로 보고되었다. LAS2-M은 H200에서 8.1 ms, Orin에서 101 ms로 측정되었고, LAS2-H는 H200 15.1 ms, Orin 344 ms였다. 논문은 LAS2-M이 LAS 대비 H200에서 약 1.6×, Orin에서 1.9× 더 빠르다고 보고했고, LAS2-H는 Fast-FoundationStereo 대비 H200에서 1.8×, Orin에서 2.7× 더 빠르다고 보고했다.

어블레이션과 학습 전략 영향: 세 단계 학습은 누적 성능 향상을 가져왔다. Stage②의 self-distillation은 입력 교란에 대한 견고성을 높였고(예: 합성 데이터 서브셋에서 성능 개선), Stage③의 실세계 pseudo-KD는 zero-shot 성능을 가장 크게 개선했다. 의사 레이블 필터링(M_LR, M_edge, M_sky)과 τ_clamp 적용은 Stage③에서 안정성과 최종 성능에 유의미한 기여를 보였다(테이블 VI 참조).

추가 실험(기상·리더보드): DrivingStereo weather 서브셋과 KITTI 리더보드에서 LAS2 계열은 다양한 기상과 실세계 조건에서도 우수한 균형을 보였다. 특히 LAS2-M은 KITTI 2015 온라인 리더보드에서 효율형 모델 중 최고 성능을 기록했다(표 IV).

전체 아키텍처 개요: LAS2-S/M/L은 공유 가중치 FasterNet 기반 인코더로 multi-scale 특징을 추출하고, 1/4 해상도로 업샘플한 특징들로 correlation cost volume C(d,h,w) = (1/N_c)⟨F_L(h,w), F_R(h,w−d)⟩를 구성한다. 이 cost volume을 2D U-Net 스타일의 aggregation(스트라이드된 residual/FasterNet 블록 + transposed conv 업샘플)으로 정제해 C_agg를 얻고 soft-argmax로 저해상도 disparity를 회귀한 뒤 convex upsampling으로 원해상도로 복원한다. LAS2-H는 LAS2-M의 출력과 중간 표현을 초기값으로 재사용해 iterative lookup 및 ConvGRU 기반 업데이트로 정밀도를 향상시킨다.

그룹별 상관관계 및 iterative lookup: LAS2-H는 채널을 N_g 그룹으로 분할해 그룹별 correlation C_g(g,d,h,w) = (1/(N_c/N_g))⟨F_L^g(h,w), F_R^g(h,w−d)⟩를 구성한다. 전체 correlation은 그룹 차원 평균으로 복원 가능하므로 LAS2-M 가중치를 재사용하면서 그룹별 정보를 iterative lookup에 활용한다. 반복 단계에서는 Lookup(C_g, C_a, d_{k−1})으로 지역 기하학 피쳐 G_k를 샘플링하고, Encoder_g(G_k), Encoder_d(d_{k−1}), context c를 결합해 ConvGRU(1×1 및 3×3)를 이용해 은닉 상태 h_k를 갱신한다. h_k에서 Head_d(h_k)를 통해 Δd를 예측하고 d_k = d_{k−1}+Δd를 계산한다.

손실·학습 파이프라인 수식: 기본 손실은 ℒ_disp = smooth_{L1}(D − D_gt)이다. 반복 모델은 ℒ_iter = ℒ_disp + Σ_{k=1}^{n} γ^{n−k} ∥D_k − D_gt∥_1 (γ=0.9)을 사용해 후반 반복에 높은 가중치를 부여한다. Self-distillation에서는 ℒ_feat = 1 − (1/HW) Σ cos(F_i, F'i)를 추가해 teacher와 student 특징 정렬을 강제한다. Stage③의 pseudo-KD는 valid mask M_valid을 적용한 후 ℒ_clamp = Σ{M_valid} min(L_disp, τ_clamp)으로 큰 오차를 상한한다.

의사 레이블 필터링 구현: 세 가지 마스크를 결합했다. (1) M_LR: left-right consistency로 |D_L − W(D_R, D_L)| < τ_LR (τ_LR=1)인 픽셀을 허용, (2) M_edge: disparity gradient와 이미지 gradient의 상관관계를 기반으로 이미지 근거가 없는 큰 disparity 변화는 제거(각 이미지의 90%-quantile threshold 사용, 3×3 erosion 적용), (3) M_sky: 외관상 일관성 없는 하늘 영역을 segmentation으로 제거. 최종 M_valid = M_LR ∧ M_edge ∧ (1 − M_sky).

구현·하드웨어 관찰: MACs는 설계 선택의 한 지표이나 실제 latency와는 직접 상관관계가 낮았다. FasterNet 블록은 이 논문에서 실제 GPU/Orin 성능 측정에서 좋은 latency-정확도 균형을 보였고, Conv3D를 제거한 2D aggregation은 엣지 장치에서 큰 이점을 가져왔다. 모든 비교는 동일한 입력(384×1248)과 torch.compile 비활성화 하에서 측정해 공정성을 유지했다.

논문에서 명시된 한계는 다음 세 가지이다. (1) Foundation 기반 고정확도 방법들과 비교했을 때 여전히 성능 차이가 존재한다(특히 강한 monocular priors와 대형 backbones를 쓴 방법들). (2) 고품질·다양한 실세계 스테레오 데이터의 규모가 제한적이어서 synthetic→real 전이의 상한이 존재한다. (3) 반사·투명·심한 조명 변화·모호한 기하구조 같은 극단적 장면에서는 여전히 실패하는 사례가 존재한다.