보장이 포함된 튜닝 가능한 소프트 등변성

컴퓨터 비전 모델에서 입력의 변화(회전, 이동 등)에 따라 출력이 예측 가능하게 변하는 등변성은 중요하지만, 실제 데이터는 완벽한 대칭을 따르지 않아 성능이 제한되곤 한다. 이 논문은 모델의 가중치를 특정 하위 공간으로 투영하여 등변성의 정도를 수학적으로 보장하면서도 유연하게 조절할 수 있는 프레임워크를 제공하여 실무 데이터에 최적화된 모델 구축을 가능하게 한다.

딥러닝 모델에서 등변성(Equivariance)은 이미지가 회전하거나 이동했을 때 모델의 출력(예: 세그멘테이션 마스크)도 동일하게 회전하거나 이동해야 한다는 원칙이다. 기존의 CNN은 이동 불변성을 갖도록 설계되었으나, 실제 세상의 데이터는 완벽한 대칭이 아니며 엄격한 등변성 제약은 오히려 모델의 표현력(Expressiveness)을 억제하여 성능을 떨어뜨리는 병목 현상을 일으킨다.

이 논문은 가중치(Weights)를 학습할 때, 모든 자유도를 허용하는 대신 '대칭성을 지키는 방향'과 '그렇지 않은 방향'을 수학적으로 분리한다. Lie Algebra의 표현론을 사용하여 가중치 공간을 분해하고, 대칭성을 심하게 해치는 고주파 성분을 필터링하는 '블러링(Blurring)' 연산자를 적용한다. 이는 마치 이미지에서 노이즈를 제거하기 위해 저주파 필터를 쓰는 것과 유사하게, 가중치에서 비등변 성분을 선택적으로 제거하는 원리이다.

결과적으로 개발자는 컷오프(cut-off)라는 하나의 하이퍼파라미터를 조절함으로써 모델이 얼마나 엄격하게 대칭성을 지킬지 결정할 수 있다. 이를 통해 데이터셋의 특성에 맞춰 대칭성과 표현력 사이의 최적의 균형점(Trade-off)을 찾을 수 있으며, 이는 사전 학습된 ViT나 ResNet의 구조를 바꾸지 않고도 가중치 투영만으로 구현 가능하다는 점에서 강력한 범용성을 가진다.

전체적인 접근 방식은 모델의 선형 계층 가중치 W를 특정 제약 조건 Beq를 통해 투영하는 방식이다. [학습 가능한 파라미터 θ를 입력으로] → [투영 연산자 Beq와 행렬 곱 연산을 수행해] → [최종 가중치 W를 얻고] → [이 W는 수학적으로 정의된 등변성 오차 범위를 만족하게 된다].

핵심 메커니즘은 Lie Group의 무한소 생성자(infinitesimal generator)인 Lie Algebra dρ를 활용하는 것이다. 입력 표현 dρX와 출력 표현 dρY 사이의 Kronecker Product를 통해 행렬 L을 구성한다. [입력 및 출력의 대칭 작용 표현을 입력으로] → [L = dρXᵀ ⊗ Id' - Id ⊗ dρY 연산을 수행해] → [등변성 위반 정도를 측정하는 행렬 L을 얻고] → [이 행렬의 고유값 분해를 통해 대칭성을 유지하는 하위 공간을 식별한다].

효율적인 구현을 위해 Schur 분해를 도입한다. [정규 행렬인 Lie Algebra 표현을 입력으로] → [Schur 분해를 통해 블록 대각 행렬 Σ를 얻고] → [고유값 λ의 합이 임계값 b보다 큰 블록을 0으로 만들거나 대칭화(Sym)하여] → [연산 복잡도를 O((d·d')³)에서 O(max(d, d')³)로 획기적으로 낮춘다].

ImageNet-1K 벤치마크에서 ViT-B/16 모델에 제안된 레이어를 적용한 결과, 기본 모델(Base) 대비 정확도가 81.67%에서 82.28%로 0.61%p 향상되었으며, 동시에 등변성 오차(iErr)는 유지하거나 개선되었다. 특히 회전 증강 데이터셋(aAcc)에서는 77.29%에서 80.56%로 큰 폭의 성능 향상을 기록했다.

세그멘테이션 태스크인 PASCAL VOC에서도 ViT 기반 모델의 mIoU가 73.40에서 74.78로 상승했으며, 등변성 오차(eErr)는 12.31에서 11.12로 감소했다. 이는 모델이 공간적 변환에 더 일관된 예측을 수행함을 의미한다.

인간 경로 예측(Human Trajectory Prediction) 실험에서는 ETH/UCY 데이터셋의 5개 시나리오 중 4개에서 기존 SOTA 모델인 EqAuto보다 낮은 예측 오차(cADE/cFDE)를 기록했다. 또한 Schur 분해 기반 방식이 SVD 방식보다 14x14 크기 입력 기준 약 3,500배 빠른 연산 속도를 보임을 확인했다.

본 연구는 Lie Group의 Taylor 전개를 통해 등변성 오차를 정량화하고 이를 제어하는 이론적 틀을 제시한다. 핵심은 가중치 행렬 W를 vec(W) = Beqθ 형태로 재파라미터화하는 것이며, 여기서 Beq는 Lie Algebra 표현의 Kronecker 합으로 구성된 행렬 L의 하위 특이 벡터들로 구성된 투영 행렬이다.

수학적으로 η-Soft Equivariance를 정의하여, 모델의 출력이 입력 변환에 대해 얼마나 민감하게 반응하는지를 Jacobian 노름으로 정규화하여 측정한다. 이는 모델의 스케일에 독립적인 신뢰할 수 있는 지표를 제공한다. 또한 연속적인 Lie Group뿐만 아니라 이산적(Discrete) 그룹에 대해서도 전방 차분 연산자(Forward-difference operator)를 도입하여 Taylor 근사를 확장 적용했다.

구현 측면에서는 Schur Equivariance Projection을 제안하여, Lie Algebra가 정규 행렬(Normal matrix)인 경우 복잡한 SVD 없이도 블록 대각 구조의 Sylvester 방정식을 풀어 효율적으로 가중치를 투영한다. 하드 임계값(Hard threshold) 대신 시그모이드 형태의 부드러운 컷오프(Smooth cut-off)를 사용하여 학습의 안정성을 높였다.

논문은 회전 각도가 매우 클 경우 이미지 경계 밖으로 픽셀이 벗어나는 경계 효과(boundary effects)로 인해 완벽한 등변성 구현에 물리적 한계가 있음을 언급한다. 또한 비가환(Non-commutative) 생성자를 가진 그룹의 경우 Schur 분해 기반 방식이 정확한 투영이 아닌 근사치로 동작한다는 점을 명시하고 있다.