LINGUDISTILL: 선택적 교차 모달 증류를 통한 시각-언어 모델의 언어 능력 회복

시각-언어 모델(VLM)은 이미지 학습 과정에서 기존 언어 모델의 정교한 추론 능력을 잃어버리는 경향이 있습니다. 이 논문은 별도의 추가 모듈 없이 원래의 언어 모델을 교사로 활용해 잃어버린 지능을 되찾는 효율적인 프레임워크를 제공합니다. 이는 모델 크기를 키우지 않고도 더 똑똑한 멀티모달 AI를 구축하는 데 기여합니다.

Transformer 아키텍처에서 텍스트는 고차원 벡터 공간의 임베딩(Embedding)으로 표현된다. VLM 학습 시 이 벡터들을 이미지 특징과 정렬하는 과정에서, 기존 언어 모델이 가졌던 정교한 언어적 관계가 뒤섞이는 representation shift 현상이 발생한다. 이는 모델이 이미지는 잘 보지만, 복잡한 논리적 추론이나 순수 언어 문제에서 성능이 떨어지는 원인이 된다.

LINGUDISTILL은 이 문제를 해결하기 위해 학습되지 않은 원래의 '똑똑한' 언어 모델을 교사(Teacher)로 소환한다. 하지만 교사는 이미지를 볼 줄 모른다는 한계가 있다. 이를 극복하기 위해 학생 모델이 이미지를 보고 만든 Key-Value(KV) 메모리를 교사가 그대로 읽게 만드는 KV-cache sharing 기법을 사용한다. 마치 눈이 보이지 않는 전문가가 학생의 눈을 빌려 상황을 파악하고 조언을 주는 것과 같다.

이 방식을 통해 교사 모델은 학생이 처한 멀티모달 상황을 이해하고, 그 상황에 맞는 최적의 언어적 답변 확률 분포를 학생에게 전달한다. 학생은 이 분포를 따라가며(Distillation) 잃어버렸던 언어적 직관을 다시 학습한다. 결과적으로 추론 시에는 교사 모델을 제거해도 학생 모델 내부에 복구된 언어 능력이 그대로 남게 된다.

KV Sharing 아키텍처는 학생 모델 Φ와 교사 모델 Ω 사이의 직접적인 정보 통로를 구축한다. 학생 모델이 이미지와 텍스트가 결합된 전체 멀티모달 시퀀스 X를 처리하여 각 레이어 l에서 K, V 캐시를 생성한다. [학생의 멀티모달 시퀀스 입력] -> [Transformer 레이어 연산] -> [KV 캐시 생성] -> [교사 모델이 이를 자신의 메모리로 직접 재사용함]. 교사 모델은 동일한 텍스트 프롬프트를 입력받아 Query를 생성한 뒤, 학생의 KV 캐시를 참조하여 어텐션을 계산한다.

Selective Distillation 목적 함수는 데이터의 성격에 따라 학습 신호를 분기한다. 언어 집약적인 데이터 소스에 대해서는 교사의 소프트 타겟(Soft Target)을 모사하는 Loss의 비중 α를 높인다. [교사와 학생의 출력 확률 분포 입력] -> [KL Divergence 계산] -> [분포 간 거리 측정] -> [학생이 교사의 논리 체계를 학습하도록 유도함]. 반면 OCR이나 문서 이해처럼 시각적 접지가 중요한 데이터에서는 α=0으로 설정하여 정답 레이블에 대한 Cross-Entropy 손실만 적용한다. 이를 통해 언어 능력 복구와 시각적 정확도 유지 사이의 균형을 맞춘다.

메인 실험 결과, LinguDistill은 nanoVLM-full 대비 언어 및 지식 벤치마크에서 뚜렷한 향상을 기록했다. ScienceQA에서는 0.592에서 0.676으로(+14.6%), AI2D에서는 0.416에서 0.507로(+15.2%) 성능이 올랐다. 특히 COCO 2017 캡셔닝 점수는 0.673에서 0.866으로 크게 개선되어, 단순 파인튜닝 시 발생하는 언어 능력 퇴보를 효과적으로 방어함이 확인됐다.

시각 및 OCR 관련 태스크에서는 표준 파인튜닝 대비 소폭의 하락이 있었으나, 모든 소스에 증류를 적용하는 Uniform KD 방식보다는 훨씬 우수한 성능을 유지했다. 예를 들어 OCRBench에서 Uniform KD는 0.452까지 점수가 급락했으나, LinguDistill은 0.600을 기록하며 시각적 접지 능력의 파괴를 최소화했다. 이는 데이터 소스별로 증류 신호를 선택적으로 제어하는 전략이 유효했음을 나타낸다.

전체 구조는 학생(VLM Decoder)과 교사(Frozen LM Decoder)가 레이어별로 통신하는 듀얼 타워 형태다. 학생 모델로는 nanoVLM-460M을, 교사 모델로는 SmolLM-360M-Instruct를 사용하며 두 모델은 동일한 Transformer 아키텍처를 공유한다. 교사 모델은 학습 중 가중치가 고정되며, 학생의 KV 캐시를 자신의 메모리 슬롯에 직접 매핑하여 연산을 수행한다.

수학적으로 교사의 어텐션 연산은 학생이 이미지 토큰을 포함해 계산한 KV 행렬을 직접 참조하여 수행된다. 손실 함수는 데이터 소스 식별자에 따라 가중치 α를 동적으로 할당하는 구조를 가지며, 온도(Temperature) T=4, 가중치 α=0.7 설정에서 최적의 성능을 보였다. 학습은 RTX A6000 GPU 1대에서 BF16 정밀도로 수행됐다.

1024 토큰의 최대 시퀀스 길이 제한과 단일 이미지 입력 조건으로 인해 긴 문서 이해(DocVQA)나 다중 이미지 추론(MMMU) 성능에는 한계가 있다. 또한 텍스트 전용 교사의 신호가 너무 강할 경우, 모델이 실제 픽셀 정보보다 언어적 확률에 의존하여 잘못된 단어로 교정하는 현상이 발생할 수 있음이 확인됐다.