멀티모달 시각-언어 모델의 인류학적 지역 적응

대형 시각-언어 모델이 특정 지역의 문화적 맥락을 이해하지 못하는 문제를 해결하기 위해 제안되었다. 기존 모델의 전반적인 지식을 유지하면서도 동남아시아와 같은 특정 지역의 문화적 특수성을 효과적으로 학습시키는 방법론을 제시하여 AI의 지역적 편향성을 극복하는 데 기여한다.

기존의 시각-언어 모델은 대규모 데이터로 학습되어 전반적인 지식은 뛰어나지만, 특정 지역의 고유한 문화나 관습에 대해서는 무지하거나 편향된 결과를 내놓는 경우가 많다. 이는 학습 데이터가 특정 지역에 편중되어 있어 발생하는 문제로, 단순히 지역 데이터를 추가 학습시키면 모델이 기존에 알고 있던 일반적인 지식을 잊어버리는 '파괴적 망각'이 발생한다.

이 논문은 이를 해결하기 위해 모델 머징(Model Merging) 개념을 도입한다. 먼저 글로벌 모델을 복사하여 지역 특화 데이터로만 미세 조정한 '지역 전문가 모델'을 만든다. 이후 두 모델의 가중치를 선형적으로 결합하여, 글로벌 지식과 지역적 특수성 사이의 최적의 균형점을 찾는다.

결과적으로 모델은 전 세계적인 보편적 질문에 답하는 능력을 98% 이상 유지하면서도, 동남아시아의 특정 음식이나 전통 의상과 같은 문화적 질문에 대해서는 기존보다 훨씬 정확하고 자연스러운 답변을 생성할 수 있게 된다.

GG-EZ 프레임워크는 크게 두 단계로 구성된다. 첫 번째 단계는 '지역 품질 필터링(Regional Quality Filtering)'으로, 전체 데이터셋에서 특정 지역(r)과 관련된 데이터를 추출하는 Regional Filter(Frf)와 데이터의 품질을 점수화하는 Multilingual Reward(Frm) 모델을 사용한다. [입력 데이터 x → Frf와 Frm 연산 수행 → 임계값 τ 이상의 데이터만 선별 → 고품질 지역 특화 데이터셋 Dsft 구축]

두 번째 단계는 '글로벌-지역 정제(Global-Regional Refinement)'이다. 선별된 데이터로 글로벌 모델을 미세 조정하여 지역 모델(θregional)을 생성한 후, 이를 원래의 글로벌 모델(θglobal)과 선형 보간법으로 결합한다. [θmerged(β) = β · θregional + (1 - β) · θglobal 연산 수행 → β 값 조절 → 최종 병합 모델 생성]. 이때 β는 지역 성능과 글로벌 성능의 가중치 합을 최대화하는 방향으로 결정된다.

최종 최적화 목표는 GRP(Global-Regional Parity) 점수를 극대화하는 것이다. [세계화 지수 α 입력 → α · QRregional + (1 - α) · QRglobal 계산 → 단일 스칼라 목적 함수 도출 → 최적의 모델 파라미터 결정]. α 값은 KOF 세계화 지수와 같은 외부 지표를 활용하여 해당 지역의 실제 세계화 정도를 반영하도록 설계되었다.

SEA-Gemma-3 10% 모델은 CVQA, SEAVQA, WorldCuisine 벤치마크에서 원본 Google Gemma-3 모델 대비 SEA 특화 성능이 크게 향상되었다. 특히 SEAVQA에서 원본 모델이 41.0점을 기록한 반면, 제안된 모델은 61.7점을 기록하여 약 20점 이상의 비약적인 상승을 보였다. 동시에 글로벌 벤치마크 점수 하락은 1% 미만으로 억제되었다.

SEA-SDXL 모델의 경우 이미지 생성의 정확성과 자연스러움 측면에서 모두 개선되었다. 인간 평가 결과, 전통(Tradition), 랜드마크(Landmark), 음식(Cuisine)의 세 가지 범주 모두에서 원본 StabilityAI SDXL보다 높은 점수를 획득했다. 특히 음식 카테고리에서 정확도 점수가 1.387에서 1.413으로 상승하며 지역적 디테일 표현력이 강화되었음을 입증했다.

SEA-SigLIP2 임베딩 모델 또한 인도네시아와 베트남 지역의 성능에서 정점을 찍으며 GRP 점수 27.96을 달성했다. 이는 원본 모델의 25.17보다 높은 수치로, 지역적 특수성을 반영한 임베딩 공간이 더 정교하게 구축되었음을 의미한다.

본 연구는 모델 아키텍처에 구애받지 않는(Architecture-agnostic) 적응 방식을 지향한다. 27B 파라미터의 VLM, 1B의 임베딩 모델, 3.5B의 확산 모델 등 규모와 구조가 다른 모델들에 동일한 GG-EZ 프레임워크를 적용하여 효과를 입증했다. 학습 시에는 AdamW 옵티마이저와 선형 학습률 감소 스케줄러를 사용했으며, 배치 사이즈와 학습률은 각 아키텍처의 특성에 맞춰 최적화했다.

모델 머징 과정에서 사용된 β 값은 실험을 통해 VLM의 경우 0.1, 확산 모델은 0.25, 임베딩 모델은 0.5~0.75 수준에서 최적의 균형이 형성됨을 발견했다. 또한 데이터 큐레이션 과정에서 UnifiedReward 모델을 사용하여 데이터 품질을 관리하고, Gemma-3-27b 및 Gemini-2.5 모델을 활용한 고품질 기계 번역을 통해 저자원 언어(크메르어, 라오어 등)의 데이터를 보강했다.

특히 GRP(Global-Regional Parity) 최적화에서 사용된 α 계수는 2023 KOF 세계화 지수를 기반으로 0.43으로 설정되었다. 이는 해당 지역의 실제 사회적, 경제적 세계화 수준을 모델의 학습 목적 함수에 직접적으로 투영하려는 시도로, 단순한 성능 최적화를 넘어 인류학적 관점을 기계 학습에 통합했다는 기술적 차별점을 갖는다.

데이터 증강 시 단순히 데이터 양을 늘리는 것보다 데이터의 구조, 범위, 출처가 성능에 더 큰 영향을 미친다는 점을 확인했다. 예를 들어 WorldCuisine 데이터셋을 무분별하게 추가했을 때 오히려 모델의 표현 범위가 좁아져 성능이 저하되는 현상이 관찰되었으며, 이는 정교한 데이터 큐레이션 전략이 부재할 경우 모델의 일반화 능력이 훼손될 수 있음을 시사한다.