RAG 포이즈닝: 단 5개의 문서로 수백만 개의 지식 베이스를 오염시키는 방법

작성자가 실제 실험 결과를 바탕으로 실무적인 피드백을 요청하고 있으며, RAG 보안이라는 저평가된 주제에 대해 커뮤니티의 관심을 촉구하고 있다.

• RAG 지식 베이스에 외부 데이터를 추가할 때 엄격한 필터링과 출처 검증 프로세스를 도입해야 한다.
• 소형 모델을 사용할 경우 검색된 컨텍스트의 유해성이나 모순 여부를 판단하는 별도의 가드레일 모델 배치를 고려해야 한다.

• RAG 시스템은 소수의 악성 문서 주입만으로도 전체 답변의 신뢰성이 붕괴될 수 있는 심각한 보안 취약점을 안고 있다.
• 소형 모델(8B급)은 대형 모델에 비해 데이터 오염 공격에 훨씬 취약하며, 이는 온프레미스 LLM 구축 시 보안 위협 요소로 작용한다.
• 에이전트 기반의 RAG 시스템은 공격의 파급력을 높이므로, 지식 베이스에 대한 입력 데이터 검증(Input Validation)이 필수적이다.