구성적 일반화를 위해 시각 임베딩 모델에 필요한 선형 및 직교 표현 연구

AI가 학습 데이터에 없는 새로운 개념 조합을 이해하기 위해 임베딩 공간이 갖춰야 할 기하학적 조건을 이론적으로 규명했다. 최신 시각 모델들이 왜 선형적인 구조로 수렴하는지에 대한 근거를 제시하며, 더 나은 일반화 성능을 가진 아키텍처 설계의 가이드라인을 제공한다.

딥러닝 모델은 '풀밭 위의 개'는 잘 인식해도 '물 속의 개'처럼 생소한 조합에서는 실패하는 경우가 많다. 이는 모델이 개념을 개별적으로 분리하지 못하고 통째로 외우기 때문인데, 이를 해결하려면 임베딩 공간에서 각 개념(개, 장소 등)이 독립적인 성분으로 존재해야 한다. 본 논문은 '선형 분해'와 '직교성'이 이 문제의 핵심 열쇠임을 보여준다. 임베딩 벡터가 각 개념 벡터들의 단순 합으로 표현되고, 각 개념 벡터가 서로 수직을 이룰 때 한 개념의 변화가 다른 개념 인식에 간섭하지 않게 된다. 결과적으로 모델은 학습 시 보지 못한 조합을 만나더라도 이미 알고 있는 개별 개념 벡터들을 조합하여 정답을 찾아낼 수 있게 된다. 최신 모델들이 자연스럽게 이러한 기하학적 구조로 수렴하고 있다는 사실은 구성적 지능의 본질이 선형성에 있음을 시사한다.

구성적 일반화를 위한 세 가지 데시데라타를 설정한다. 모든 조합이 분류 가능해야 하는 분할성, 일부 학습 데이터로 전체 조합을 예측하는 전이성, 학습 데이터셋이 바뀌어도 예측 결과가 일관되어야 하는 안정성이다. 수학적 증명을 통해 표준적인 학습 방식(GD+CE)에서 위 조건들을 만족하려면 임베딩 z_c가 각 개념 인자 u의 합으로 분해되어야 함을 보였다. [개별 개념 벡터 u들을 입력으로] → [벡터 덧셈 연산을 수행해] → [최종 임베딩 z_c를 얻고] → [이 값이 선형 판독기를 통해 각 개념을 독립적으로 분류]하는 구조를 가진다. 또한 임베딩 공간의 용량 한계를 분석하기 위해 하이퍼플레인 배치 이론을 적용했다. k개의 개념을 구분하려면 최소 k개의 결정 경계가 필요하며, 이는 임베딩 차원 d가 k보다 작을 수 없음을 의미한다. [개념 수 k → 결정 경계 생성 → 필요한 영역 수 n^k → 최소 차원 d ≥ k]의 논리 구조를 통해 하한선을 도출했다.

PUG-Animal, dSprites, MPI3D 데이터셋에서 CLIP, SigLIP, DINO 모델들을 평가한 결과, 모든 모델에서 선형 분해 정도를 나타내는 R² 점수가 무작위 기준(0.120.42)보다 높은 0.40.6 수준으로 나타났다. 이는 실제 모델들이 이론이 예측한 선형 구조를 부분적으로 형성하고 있음을 보여준다. 선형성(R²)과 구성적 일반화 정확도 사이의 강한 양의 상관관계를 확인했으며, 선형 구조가 더 잘 형성된 모델일수록 학습하지 않은 새로운 개념 조합에 대한 제로샷 분류 성능이 일관되게 높았다. 개념 간 직교성 분석에서 동일 개념 내의 벡터 유사도는 약 0.530.55인 반면, 서로 다른 개념 간의 유사도는 0.090.12로 매우 낮게 측정되었다. 이는 모델이 개념 간 간섭을 피하기 위해 인자들을 서로 수직에 가깝게 배치하고 있음을 실증한다.

논문은 선형 판독기를 사용하는 모든 임베딩 모델을 대상으로 하며, 특히 CLIP 스타일의 제로샷 분류기와 DINO 같은 자기지도학습 모델을 포함한다. 핵심 이론적 기여는 '선형 표현 가설(LRH)'이 구성적 일반화의 충분조건이 아니라 필연적인 결과임을 증명한 것이다. GD+CE 최적화가 Max-margin SVM 솔루션으로 수렴한다는 성질을 이용하여, 안정적인 전이가 발생하려면 가중치 벡터가 개념 차이 벡터와 평행해야 함을 유도했다. 다중값 개념으로의 확장을 위해 개념 i의 값 a와 b 사이의 차이 벡터가 다른 개념 j의 차이 벡터와 직교해야 한다는 일반화된 직교성 조건을 제시했다. 실험적으로는 화이트닝 처리된 R² 점수를 사용하여 특정 방향의 분산이 지표를 왜곡하는 것을 방지했으며, 이를 통해 모델 간 공정한 비교를 수행했다.

최악의 경우에 대한 안정성을 가정하고 있어 실제 환경에서의 평균적인 안정성이나 근사적 안정성에 대한 완화된 조건 연구가 추가로 필요하다. 또한 인코더가 고정된 상태에서 판독기만 재학습하는 상황을 전제하므로 전체 모델의 동시 학습 역학에 대한 분석은 제한적이다.