SemBridge: Multilingual Semantic Bridges를 통한 Sparse Encoder의 Language Transfer

Sparse encoders는 단어의 중요도를 어휘 공간에 고정해 표현하는 특성상 영어 중심 구조임. 타언어에서 토큰이 충분히 존재하지 않으면 표면적 매칭만으로는 의미를 잘 포착하기 어렵다. SemBridge는 multilingual dense embeddings를 브리지로 삼아 source/target 어휘 간 시맨틱 정합을 수행하고, 남은 타깃 토큰을 핵심 동의어들로 구성된 희소 가중합으로 초기화하여, 타격이 큰 노이즈를 제거하고 타깃 언어로의 이전을 안정적으로 수행한다. 이로써 제로샷에서도 성능이 개선되고, 파인튜닝 시 수렴 속도와 효율이 증가한다. 또한 다섯 언어 Arabic, Chinese, Hindi, Korean, Russian에서 4가지 sparse 모델에 대해 일관된 향상을 보였다.

출발점: sparse encoder는 어휘 공간을 출력 공간으로 삼아 토큰의 중요도를 재구성한다. 문제: 타깃 언어의 토큰 수가 작으면 구조적으로 표현 차원이 부족해 정확한 의미 전달이 어려워진다. 해결책: Vo를 직접 복사하고, 남은 xt에 대해 B로 얻은 hxt와 Vs의 임베딩 간 코사인 유사도를 이용해 S를 구한 뒤, Entmax로 상위 핵심 토큰만 선택해 e_t^xt를 구성한다. 이 과정을 통해 타깃 어휘 공간을 소스 모델의 세밀한 의미 공간으로 정렬하고, 초기화를 통해 파인튜닝 시 더 빠르고 안정적으로 수렴한다. 결과적으로 α≥2의 희소 가중화가 Noise를 걸러내고 core synonyms에만 집중하게 한다.

구성: Vs(소스 어휘), Vt(타깃 어휘), Vo(Overlap Tokens), R(remaining tokens)로 나눈다. BGE-M3 등의 bridge model(B)을 사용해 xs∈Vs, xt∈R에 대해 hxs=B(xs), hxt=B(xt)를 얻는다. s_xt = [cos(hxt, hxs1), ..., cos(hxt, hxsN)]를 각 xt에 대해 계산하고 S를 얻는다. Entmaxα를 적용해 p_xt=Entmaxα(s_xt)로 변환하고, e_xt = sum_i p_xt_i * e_s^{xsi}로 초기화한다. Overlapping 토큰은 직접 복사 e_xt = e_sx. 초기화 후 4개의 sparse encoders(Splade-v3, Splade_PP_en_v1, OpenSearch-Sparse-v1, Granite-30m-Sparse)를 대상 언어 토크나이저로 교체하고, WebFAQ/MIRACL 데이터로 InfoNCE 손실에 FLOPs 정규화를 더해 fine-tuning을 수행한다. 하이퍼파라미터는 α=4, batch_size=64, lr=2e-5, bf16, 1 epoch 학습. 평가 기준은 nDCG@10.

제로샷 성능: WebFAQ에서 평균 nDCG@10이 Splade-v3의 SemBridge 0.422, Splade-PP의 0.409, OpenSearch 0.387, Granite-30m 0.666으로 상위. MIRACL에서도 SemBridge가 Baseline보다 우수하지만, 모델마다 차이가 있다(예: Splade-v3 MIRACL 0.179, Granite-30m MIRACL 0.245 등). 파인튜닝 결과, WebFAQ에서 SemBridge의 평균 nDCG@10이 Splade-v3 0.697, Splade-PP 0.684, OpenSearch 0.637, Granite-30m 0.666으로 우수. MIRACL에서는 평균 0.319(Splade-v3) 등으로 나타남. 학습 곡선은 SemBridge가 초기 손실이 낮고, 빠르게 수렴하며 최종 성능이 기존 Baseline 대비 우수하다. Ablation으로 Entmax α를 2,3,4로 조정 시 α≥3에서 일관된 이득을 보이며, Softmax는 노이즈 증가로 성능이 저하된다. Qualitative 분석은 Table 3에서 target-language 단어의 상위 소스 토큰 매핑이 SemBridge에서 영어 동의어로 안정적으로 연결되는 반면, FOCUS와 OFA는 비의미적 매핑이 많음을 보여준다.

아키텍처: 소스 어휘 Vs, 타깃 어휘 Vt, 중복 어휘 Vo, 남은 토큰 R로 구분한다. Xs ∈ Vs, Xt ∈ R에 대해 hxs=B(xs), hxt=B(xt)로 벡터를 얻고, s_xt ∈ R^N을 계산해 Cosine 유사도 배열을 만들며 S를 구성한다. p_xt = Entmaxα(s_xt)로 희소 가중치를 얻고 e_xt = Σ_i p_xti e_s^{xsi}로 초기화한다. Overlapping 토큰은 e_xt = e_sx로 직접 복사한다. 파인튜닝 손실은 InfoNCE와 FLOPs 규제를 조합하여 사용한다. 실험은 AR, Zh, Hi, Ko, Ru 다섯 언어에서 4개 sparse 모델로 WebFAQ/MIRACL 데이터를 사용한다. 브리지 모델(B)으로 bge-m3, mGTE, Qwen3 등을 시험했다.

한계점은 두 가지이다. 1) 평가 언어 집합이 Arabic, Chinese, Hindi, Korean, Russian 다섯 곳으로 제한되어 있어 다른 언어에서의 일반화는 추가 연구 필요. 2) Entmax α의 선택에 따라 타깃 임베딩의 정보 손실이 발생할 수 있어 언어/토크나이저에 따라 최적의 α를 찾는 적응적 설정이 필요하다.