지도 학습의 필연적 기하학적 사각지대: 이론, 결과 및 최소한의 수리 방법

작성자가 직접 연구 결과를 공유했으며, 기존의 강건성 지표들이 놓치고 있던 기하학적 왜곡을 TDI라는 새로운 지표로 포착해낸 점에 대해 학술적 관심이 높다.

• RAG나 RLHF 파이프라인에서 모델의 기하학적 왜곡을 측정하고 싶다면 가중치 접근 없이도 가능한 TDI 지표를 활용하라.
• 특정 태스크 파인튜닝 시 발생하는 성능 저하나 편향을 막기 위해 가우시안 노이즈 기반의 야코비안 정규화 항을 손실 함수에 추가하는 것을 고려하라.

• 지도 학습 모델은 훈련 데이터 내의 레이블과 상관관계가 있는 모든 노이즈 특징을 수학적으로 인코딩할 수밖에 없는 '기하학적 사각지대'를 가진다.
• 적대적 학습(PGD)은 야코비안 민감도를 특정 방향으로만 몰아넣어 모델의 전반적인 기하학적 안정성을 오히려 해칠 수 있다.
• 모델 크기가 커지거나 특정 태스크로 파인튜닝(RLHF 포함)할수록 노이즈 특징을 더 정교하게 학습하여 사각지대 문제가 심화된다.
• 가우시안 노이즈 기반의 PMH 정규화는 야코비안을 균일하게 억제하여 추가적인 아키텍처 변경 없이도 모델의 강건성을 획기적으로 개선한다.