MNAFT: 이미지 번역을 위한 멀티모달 대형 언어 모델의 모달리티 뉴런 인식 파인튜닝

기존 멀티모달 모델은 이미지 속 텍스트를 번역할 때 시각 정보와 언어 정보 사이의 간극으로 인해 정확도가 떨어지는 문제가 있었다. 이 논문은 모델 전체를 학습시키는 대신 번역에 핵심적인 특정 뉴런만 선택적으로 업데이트하여 연산 효율성을 높이면서도 번역 품질을 획기적으로 개선했다.

멀티모달 모델 내의 수많은 뉴런은 모두 동일한 역할을 하지 않는다. 어떤 뉴런은 시각적 특징을 처리하는 데 특화되어 있고, 어떤 뉴런은 특정 언어 간의 번역에 더 민감하게 반응한다. 기존의 Fine-tuning 방식은 이러한 개별 뉴런의 전문성을 무시하고 모든 파라미터를 일괄적으로 수정하여, 모델이 이미 알고 있던 일반적인 지식을 망가뜨리거나 불필요한 연산을 초래하는 한계가 있었다.

MNAFT는 모델이 특정 작업을 수행할 때 어떤 뉴런이 가장 크게 기여하는지 '기능적 지도'를 먼저 그린다. 이는 딥러닝의 기초인 Activation(활성화) 값과 Loss function(손실 함수)의 변화량을 분석하여 수행된다. 특정 뉴런을 제거했을 때 손실 값이 크게 변한다면 해당 뉴런이 그 작업에 매우 중요하다는 원리를 이용한다.

결과적으로 번역 작업에 꼭 필요한 '언어 특화 뉴런'과 여러 언어에 공통적으로 관여하는 '언어 공통 뉴런'만을 골라내어 학습시킨다. 이를 통해 모델은 이미지 속의 미세한 텍스트 정보를 더 정확하게 포착하면서도, 언어 간의 문맥을 매끄럽게 연결하는 능력을 갖추게 된다.

MNAFT는 크게 뉴런 식별 단계와 선택적 파인튜닝 단계로 나뉜다. 먼저 Taylor expansion을 사용하여 각 뉴런의 중요도 점수(Awareness Score)를 계산한다. 특정 뉴런 i의 활성화 값 h_i를 0으로 설정했을 때 발생하는 손실 함수의 변화량 |ΔL(h_i)|을 1차 근사치로 계산하여 중요도를 측정한다. [뉴런 활성화 값과 손실 함수의 기울기를 입력으로] → [두 값의 곱의 절대값을 연산하여] → [중요도 점수를 얻고] → [이 값이 높을수록 해당 뉴런이 번역 작업에 핵심적임을 의미한다].

식별된 뉴런들은 분산 분석을 통해 언어 공통(Language-agnostic) 뉴런과 언어 특화(Language-specific) 뉴런으로 분류된다. 여러 언어 쌍에서 공통적으로 높은 활성화를 보이면 공통 뉴런으로, 특정 언어 쌍에서만 유독 높은 점수를 보이면 특화 뉴런으로 정의한다. 이후 레이어별 정규화 과정을 거쳐 가장 영향력이 큰 상위 레이어들을 선택한다.

최종 학습 단계에서는 선택된 레이어 내의 핵심 뉴런들에 대해서만 Gradient Masking을 적용한다. [학습 대상이 아닌 뉴런의 기울기를 0으로 입력하여] → [가중치 업데이트에서 제외하는 연산을 수행해] → [핵심 뉴런의 파라미터만 갱신되는 결과를 얻고] → [이는 모델의 기존 지식을 보존하면서 타겟 작업에만 최적화됨을 의미한다].

ECOIT, IIMT, MIT-10M 등 주요 이미지 번역 벤치마크에서 기존 SOTA 모델들을 능가했다. 특히 ECOIT(ZH-EN) 데이터셋에서 METEOR 75.1, BLEU 54.6을 기록하며 Full Fine-tuning 대비 각각 6.6, 3.2 포인트 높은 성능을 보였다. 이는 OCR과 번역기를 따로 쓰는 Cascaded 모델(METEOR 13.7)보다 압도적으로 높은 수치이다.

효율성 측면에서도 뛰어난 성과를 거두었다. Full Fine-tuning 대비 학습 속도는 약 24% 빨라졌으며, GPU 메모리 사용량은 94.3GB에서 20.8GB로 약 78% 절감되었다. 이는 LoRA와 같은 파라미터 효율적 학습 기법(PEFT)과 비교해도 더 높은 번역 정확도와 빠른 학습 시간을 동시에 달성한 결과이다.

MNAFT는 MLLM의 Vision Encoder와 LLM 본체 모두에서 핵심 뉴런을 추출한다. 기존 연구들이 주로 Connector나 LLM 일부만 튜닝하던 것과 달리, 시각 정보 추출 단계부터 언어 생성 단계까지의 전체 경로에서 '번역 전용 뉴런'을 찾아낸다는 점이 기술적 차별점이다. t-SNE 시각화 분석 결과, 언어 특화 뉴런들은 특정 언어 쌍에 따라 명확한 클러스터를 형성하는 반면, 공통 뉴런들은 넓게 분포되어 일반적인 언어 구조를 담당함을 입증했다.

구현 시에는 Qwen2.5-VL-3B를 베이스 모델로 사용했으며, Taylor expansion 기반의 중요도 산출은 파라미터 업데이트 없이 단 한 번의 Forward/Backward 패스만으로 계산되므로 오버헤드가 매우 적다(약 2~3분 소요). 또한 Gradient Mask를 Optimizer 단계에서 적용하여 Sparse 업데이트를 구현함으로써 연산 효율을 높였다.