다국어 RAG 시스템의 언어 오염 문제와 해결 방법

커뮤니티 반응

많은 사용자가 다국어 RAG 구축 시 유사한 언어 혼동 문제를 겪었음을 시인하며 공감을 표했다.

주요 논점

01찬성다수

복잡한 NLP 라이브러리보다 단순한 규칙 기반(Regex) 접근이 실무적인 엣지 케이스 해결에 더 효율적이다

합의점 vs 논쟁점

합의점

LLM은 컨텍스트 내의 언어적 힌트에 매우 민감하게 반응하여 지시사항을 무시할 가능성이 있다

논쟁점

정규표현식 기반 감지가 매우 짧은 쿼리나 중립적인 단어만 포함된 쿼리에서도 충분히 작동할 것인가에 대한 의문이 있다

실용적 조언

다국어 RAG를 만든다면 프롬프트에 'Write ONLY in [Language]'와 함께 'Never use [Other Languages]'를 반드시 병기하라

섹션별 상세

RAG 시스템이 참고 문헌의 언어에 동화되어 답변 언어를 무단으로 변경하는 현상이 발생했다. 독일어 문서를 기반으로 답변하던 LLM이 문맥 내 프랑스어 법률 용어를 접하면 문장 중간에 언어를 섞거나 아예 다른 언어로 답변을 마치는 오류를 보였다. 이는 모델이 컨텍스트의 언어적 특성을 지시사항보다 우선시하여 발생하는 문제임이 확인됐다.

LLM 자체의 언어 감지 기능은 고유 명사나 특정 사례 언급에 취약하여 신뢰도가 낮았다. 사용자가 프랑스어 재판명을 언급하면 쿼리 전체를 프랑스어로 오인하는 등 오작동이 잦아 시스템의 안정성을 해치는 요소로 작용했다.

복잡한 감지 라이브러리 대신 정규표현식(Regex)을 통한 단순 패턴 매칭이 가장 효과적이었다. der, die, das와 같은 독일어 관사와 빈출 단어를 체크하여 언어를 강제로 지정하는 방식이 고도화된 모델의 자체 판단보다 더 높은 정확도를 기록했다.

프롬프트에 특정 언어 사용을 금지하는 '부정적 제약'을 추가하여 언어 표류 현상을 억제했다. 단순히 특정 언어로 작성하라는 지시보다 '프랑스어, 스페인어 등을 절대 사용하지 마라'는 명시적 금지 조항이 모델의 답변 일관성을 유지하는 데 결정적인 역할을 했다.

용어 해설

검색 증강 생성(RAG): — 외부 지식 베이스에서 관련 정보를 검색하여 LLM의 응답 생성에 활용하는 기법이다. 모델의 학습 데이터에 없는 최신 정보나 특정 도메인 지식을 보완하여 답변의 정확도를 높이고 환각 현상을 줄이는 데 핵심적인 역할을 한다.
컨텍스트 오염(Context Contamination): — RAG 시스템에서 검색된 참고 문서의 언어나 스타일이 LLM의 최종 응답에 의도치 않게 영향을 주는 현상이다. 본문에서는 독일어 답변 중 참고 문헌에 포함된 프랑스어 법률 용어를 따라 모델이 갑자기 언어를 전환하는 문제로 나타났다.
정규표현식 탐지기(Regex Detector): — 특정 문자열 패턴을 찾아내기 위해 정규표현식을 사용하는 도구이다. 이 사례에서는 복잡한 라이브러리 대신 독일어의 관사나 빈출 단어를 패턴화하여 쿼리의 언어를 빠르고 확실하게 판별하는 용도로 사용됐다.

언급된 도구

Regex추천

쿼리 내 독일어 빈출 단어 패턴 매칭을 통한 언어 판별