LLM 기반 밀집 검색 모델의 강건성에 대하여: 일반화 가능성 및 안정성에 대한 체계적 분석

최근 검색 시스템의 중추가 BERT에서 LLM으로 전환되고 있지만, 실제 환경에서의 강건성은 충분히 검증되지 않았다. 이 논문은 LLM 기반 검색 모델이 오타나 악의적인 문서 주입 공격에는 기존 모델보다 강하지만, 의미적 변형에는 여전히 취약하다는 점을 밝혀내어 더 안전한 검색 시스템 설계 방향을 제시한다.

기존의 밀집 검색 모델은 주로 BERT와 같은 Encoder-only 구조를 사용해 쿼리와 문서를 벡터 공간에 매핑했다. 하지만 최근에는 문맥 이해 능력이 뛰어난 Decoder-only LLM을 검색 엔진의 뼈대로 사용하는 추세이다. LLM은 방대한 사전 학습 데이터를 통해 단어의 의미를 더 잘 파악하지만, 특정 작업에 과하게 최적화될 경우 오히려 일반적인 상황에서의 성능이 떨어지는 'Specialization Tax' 문제가 발생한다.

이 논문은 LLM 검색 모델이 쿼리의 미세한 변화에 어떻게 반응하는지 살핀다. 예를 들어, 사용자가 오타를 내거나 단어를 유의어로 바꿨을 때 임베딩 벡터가 얼마나 크게 요동치는지 측정한다. LLM은 구조적으로 양방향 정보를 처리하는 BERT보다 문맥 의존성이 높아 단어 순서가 바뀌는 것만으로도 검색 결과가 크게 달라질 수 있다는 점에 주목했다.

결과적으로 LLM 기반 모델은 웹 데이터 학습 덕분에 오타와 같은 노이즈에는 강한 면모를 보이지만, 의미는 같으면서 표현만 바뀐 쿼리에는 여전히 취약하다. 이는 임베딩 공간에서 벡터들이 얼마나 고르게 퍼져 있는지(Isotropy)와 밀접한 관련이 있으며, 이를 통해 모델의 취약점을 사전에 진단할 수 있다.

실험을 위해 30개의 데이터셋을 포함하는 4개의 벤치마크(MS MARCO, BEIR, BRIGHT, BrowseComp-Plus)를 사용했다. 모델의 일반화 능력을 측정하기 위해 Linear Mixed-Effects Models(LMMs)를 적용했다. LMM은 데이터셋의 난이도나 쿼리 수와 같은 무작위 효과(Random Effects)를 통제하면서 모델 정체성이라는 고정 효과(Fixed Effects)를 분리해낸다. 이를 통해 '평균적인 난이도의 데이터셋에서 모델이 보여줄 기대 성능'인 Estimated Marginal Means(EMMs)를 산출한다.

안정성 분석을 위해 쿼리 측면의 5가지 변형(Misspelling, Reordering, Synonymizing, Paraphrasing, Naturalizing)과 문서 측면의 Adversarial Attack(Corpus Poisoning)을 수행했다. 쿼리 변형은 nDCG@10의 하락률로 측정하며, 문서 공격은 HotFlip 알고리즘을 사용해 생성된 50개의 최적화된 토큰을 포함하는 가짜 문서를 주입하여 검색 결과 상위 20위 안에 진입시키는 성공률(ASR@20)로 평가한다.

임베딩 공간의 기하학적 분석을 위해 Angular Uniformity와 Variance Uniformity(IsoScore)를 측정했다. Angular Uniformity는 무작위로 추출된 100,000개의 임베딩 쌍 사이의 평균 코사인 유사도로 계산하며, 이 값이 낮을수록 벡터들이 공간상에 더 고르게 분포되어 있음을 의미한다. 또한 모델 가중치 행렬의 Spectral Norm을 계산하여 모델의 Lipschitz Smoothness(입력 변화에 따른 출력 변화의 안정성)를 대리 지표로 활용했다.

일반화 측면에서 GTE, Qwen3, Linq와 같은 지시어 튜닝(Instruction-tuned) 모델들이 가장 우수한 성능을 보였다. 반면 복잡한 추론에 특화된 모델들은 특정 벤치마크에서는 뛰어나지만 일반적인 쿼리에서는 성능이 급격히 하락하는 'Specialization Tax' 현상이 관찰되었다. 특히 ReasonEmbed 모델은 지시어 기반 쿼리에서 거의 0에 가까운 점수를 기록하기도 했다.

안정성 실험 결과, LLM 기반 모델은 Contriever와 같은 기존 모델 대비 오타(Misspelling)에 대해 612% 수준의 낮은 성능 하락을 보이며 강건함을 증명했다. 그러나 유의어 교체(Synonymizing) 시에는 모든 모델에서 2227%의 큰 성능 하락이 발생했다. 문서 주입 공격(Corpus Poisoning)에서는 GTE 모델이 0%의 공격 성공률을 기록하며 압도적인 방어력을 보였으나, 다른 모델들은 공격 예산이 늘어남에 따라 취약성이 노출되었다.

상관관계 분석에서는 Angular Uniformity가 낮을수록(즉, 벡터가 고르게 퍼져 있을수록) 어휘적 변형에 더 강한 것으로 나타났다. 또한 Qwen3 모델군을 대상으로 한 스케일링 분석에서 모델 파라미터가 0.6B에서 8B로 커질수록 오타 및 유의어 변형에 대한 저항력이 일관되게 향상됨을 확인했다.

본 연구는 Decoder-only 아키텍처가 Dense Retrieval의 표준이 되어가는 과정에서 발생하는 기술적 부채를 다룬다. 특히 Causal Attention 메커니즘을 사용하는 Decoder-only 모델이 쿼리의 단어 순서 변경(Reordering)에 민감할 수 있음을 지적하며, GTE와 같이 Bidirectional Attention을 도입한 모델이 상대적으로 더 안정적임을 보여준다.

수학적으로는 임베딩 공간의 Anisotropy(비등방성)가 검색 성능을 저해할 뿐만 아니라 외부 섭동에 대한 취약성을 높인다는 점을 입증했다. Angular Uniformity Regularization 실험을 통해 단순히 학습 중에 코사인 유사도를 낮추는 손실 함수를 추가하는 것만으로는 강건성이 개선되지 않음을 밝혀냈으며, 이는 강건성이 단순한 기하학적 배치를 넘어 학습 데이터의 다양성과 밀접하게 연관되어 있음을 시사한다.

또한 White-box 공격 상황에서 HotFlip을 이용한 Gradient 기반 토큰 최적화가 LLM 검색 모델에 미치는 영향을 분석했다. LLM 기반 모델은 임베딩 공간의 차원이 크고 표현력이 풍부하여 단순한 L2-norm 인플레이션 공격에는 강하지만, 특정 쿼리 임베딩과 일치하도록 정교하게 설계된 문서에는 여전히 노출될 수 있음을 경고한다.

본 연구는 영어 데이터셋에 국한되어 있어 한국어 등 다른 언어에서의 강건성 특성은 다를 수 있다. 또한 최신 모델들을 포함하고 있으나 모델의 모든 훈련 세부 사항(데이터 구성, 최적화 기법 등)이 공개되지 않은 상용 모델의 경우 정확한 원인 분석에 한계가 있다. 마지막으로 계산 자원 제약으로 인해 문서 주입 공격 실험을 3개의 데이터셋으로 한정했다.