다양한 딕셔너리 학습: 잠재 변수 복원을 위한 집합론적 접근

기존의 잠재 변수 복원 연구는 데이터가 선형적이거나 특수한 감독 정보가 있어야 한다는 강력한 가정에 의존해 실무 적용에 한계가 있었다. 이 논문은 집합론적 관계를 활용해 복잡한 비선형 환경에서도 잠재 변수 간의 관계를 수학적으로 보장하며 복원할 수 있는 새로운 프레임워크를 제시한다.

딥러닝 모델에서 잠재 변수(Latent Variable)를 찾는 과정은 마치 뒤섞인 신호에서 원래의 소스들을 분리해내는 것과 같다. 기존의 독립 성분 분석(ICA) 등은 각 소스가 통계적으로 독립적이어야 한다는 강력한 전제를 두지만, 실제 데이터에서는 변수들이 서로 얽혀 있어 이 가정이 깨지는 경우가 많다. 본 논문은 통계적 독립성 대신 '어떤 관측값이 어떤 잠재 변수의 영향을 받는가'라는 구조적 의존성(Dependency Structure)에 주목한다.

핵심 원리는 집합론이다. 예를 들어 관측값 A가 잠재 변수 {1, 2}의 영향을 받고, 관측값 B가 {2, 3}의 영향을 받는다면, 두 관측값의 공통 분모를 찾는 연산을 통해 잠재 변수 2를 분리해낼 수 있다. 이를 위해 논문은 모델의 입력 변화에 따른 출력 변화율을 나타내는 Jacobian 행렬을 활용한다. Jacobian의 0이 아닌 패턴(Support)을 분석하면 어떤 잠재 변수가 어떤 관측값에 기여하는지 파악할 수 있다.

결과적으로 이 방식은 데이터 생성 과정이 비선형적이고 복잡하더라도, 변수 간의 연결 고리가 충분히 다양하게 분포되어 있다면 개별 잠재 변수를 정확히 복원할 수 있게 해준다. 이는 모델이 학습한 내부 표현이 실제 세계의 어떤 개념과 일치하는지 설명해야 하는 기계적 해석 가능성(Mechanistic Interpretability) 분야에 강력한 이론적 토대를 제공한다.

전체 접근 방식은 관측 데이터 X = g(Z)에서 비선형 함수 g와 잠재 변수 Z를 동시에 추정하는 비지도 학습 설정을 따른다. 이때 g는 미분 가능한 동형 사상(Diffeomorphism)으로 가정하며, 핵심은 잠재 변수와 관측 변수 간의 함수적 영향력을 나타내는 Jacobian 행렬 Dz g의 구조적 특징을 활용하는 것이다.

핵심 메커니즘은 '집합론적 불확정성'을 이용한 식별이다. 두 모델이 관측 데이터상에서 동일한 분포를 생성할 때(Observational Equivalence), 이들의 잠재 변수 인덱스 집합 간의 교집합(Intersection), 대칭 차집합(Symmetric Difference), 여집합(Complement) 관계가 보존됨을 증명했다. 구체적으로 Jacobian 행렬의 각 원소 [입력값 Zi의 변화 → 함수 g 연산 → 출력값 Xi의 변화량]을 계산하여, 이 변화량이 0이 아닌 지점들의 패턴을 비교함으로써 잠재 변수 간의 관계를 규명한다.

구현 측면에서는 Jacobian Sparsity 정규화를 손실 함수에 추가한다. 목적 함수 L = E[ln p(X|Z)] - β DKL + α ||Dz g||0 구조를 가지며, 여기서 ||Dz g||0은 Jacobian 행렬의 비제로 원소 개수를 최소화하도록 유도한다. 이는 [잠재 변수 Z → Jacobian 계산 → 비제로 원소 카운트 → 최소화 방향으로 가중치 업데이트] 과정을 거쳐, 모델이 가장 단순하고 명확한 의존성 구조를 학습하도록 강제한다.

합성 데이터 실험에서 제안된 방법론은 변수의 개수가 3개에서 10개까지 증가하는 환경에서도 높은 MCC(Mean Correlation Coefficient)를 기록하며 잠재 변수를 정확히 복원했다. 특히 'Sufficient Diversity' 조건을 만족하는 경우 MCC가 0.8 이상으로 유지된 반면, 구조적 다양성이 부족한 베이스라인 모델은 0.4 이하로 급격히 하락했다.

실제 이미지 데이터셋(Shapes3D, Cars3D, MPI3D)을 활용한 실험에서는 FactorVAE, EncDiff, DisCo 등 기존 생성 모델에 Jacobian Sparsity를 추가했을 때 엉킴 해소(Disentanglement) 성능이 일관되게 향상되었다. 예를 들어 Cars3D 데이터셋에서 FactorVAE의 DCI 점수가 0.135에서 0.144로 개선되었으며, 시각적으로도 방위각(Azimuth)과 색상(Color) 등 개별 요인이 명확히 분리되어 제어되는 것이 확인되었다.

효율성 분석 결과, Jacobian 정규화를 적용한 학습 속도는 표준 L1 정규화 대비 약 2배 정도 느려지는 수준에 그쳐 대규모 모델에도 적용 가능한 실무적 타당성을 확보했다. 또한 노이즈가 포함된 환경에서도 MCC 점수가 크게 하락하지 않아 강건성(Robustness)을 입증했다.

본 연구는 비선형 ICA 및 인과 표현 학습(Causal Representation Learning)의 식별 가능성 이론을 확장한다. 핵심 가정인 'Sufficient Nonlinearity'는 Jacobian 벡터들이 서포트 공간을 스팬(Span)할 수 있을 만큼 충분히 독립적으로 변화해야 함을 의미하며, 이는 환경 변화 없이 단일 데이터셋에서도 식별 가능성을 확보할 수 있게 하는 핵심 장치이다.

수학적으로는 Hall의 결혼 정리(Hall's Marriage Theorem)를 이분 그래프(Bipartite Graph) 구조에 적용하여, 관측 데이터의 동등성이 잠재 변수의 순열(Permutation) 동등성으로 이어짐을 증명했다. 특히 'Sufficient Diversity' 조건은 각 잠재 변수가 자신만이 가지는 고유한 관측값 연결 패턴을 가져야 함을 명시하며, 이는 기존의 Anchor Feature 가정보다 훨씬 완화된 조건이다.

기존의 Sparse Autoencoder(SAE)가 잠재 변수 자체의 희소성(Latent Sparsity)에 집중하여 피처 흡수(Feature Absorption) 등의 문제를 겪는 것과 달리, 본 모델은 의존성 구조의 희소성(Jacobian Sparsity)에 집중한다. 이는 모델이 고차원 잠재 공간을 사용하더라도 실제 물리적/논리적 연결은 간결하게 유지되도록 유도하여 더 정교한 엉킴 해소를 가능케 한다.

본 논문은 데이터 생성 과정 g가 미분 가능한 동형 사상(Diffeomorphism)이어야 한다는 가정을 전제로 한다. 따라서 ReLU와 같이 특정 지점에서 미 불가능하거나 정보 손실이 발생하는 비가역적(Non-invertible) 함수가 포함된 경우 이론적 보장이 완벽하지 않을 수 있음을 명시하고 있다.