지도 학습의 필연적 기하학적 사각지대: 이론, 결과 및 최소한의 수리 방법

작성자가 직접 연구 결과를 공유했으며, 기존의 강건성 지표들이 놓치고 있던 기하학적 왜곡을 TDI라는 새로운 지표로 포착해낸 점에 대해 학술적 관심이 높다.

• RAG나 RLHF 파이프라인에서 모델의 기하학적 왜곡을 측정하고 싶다면 가중치 접근 없이도 가능한 TDI 지표를 활용하라.
• 특정 태스크 파인튜닝 시 발생하는 성능 저하나 편향을 막기 위해 가우시안 노이즈 기반의 야코비안 정규화 항을 손실 함수에 추가하는 것을 고려하라.

ERM

— 주어진 훈련 데이터셋에 대해 평균 손실을 최소화하는 기계 학습의 표준 최적화 원칙이다. 이 방식은 훈련 데이터 내의 레이블과 상관관계가 있는 모든 특징을 학습하도록 강제하며, 이 과정에서 테스트 시점에 불필요한 노이즈(nuisance) 정보까지 모델이 인코딩하게 만드는 기하학적 사각지대를 형성한다.

Jacobian Matrix

— 다변수 함수의 입력 변화에 따른 출력의 변화율을 나타내는 1차 미분 행렬이다. 딥러닝에서는 입력 데이터의 미세한 변화가 모델의 내부 표현이나 출력에 미치는 민감도를 측정하는 데 사용되며, 이 행렬의 특성을 분석하여 모델의 기하학적 안정성과 강건성을 평가할 수 있다.

PGD Training

— 적대적 공격을 방어하기 위해 훈련 과정에서 인위적으로 생성된 적대적 예제를 포함하여 학습하는 기법이다. 특정 방향의 적대적 섭동에는 강해지지만, 야코비안 행렬의 민감도를 특정 방향으로만 압축시켜 오히려 일반적인 입력에 대한 기하학적 왜곡을 심화시킬 수 있다는 한계가 지적된다.

TDI

— 등방성 섭동 하에서 모델의 내부 표현이 얼마나 왜곡되는지를 측정하는 지표이다. 야코비안 행렬의 비등방성을 감지하여, 기존의 프로베니우스 노름이나 CKA가 놓치는 모델의 기하학적 결함을 정확하게 식별하며 모델이 입력의 의미적 변화보다 표면적 변화에 얼마나 민감한지 수치화한다.