50만 개의 레이블이 지정된 오픈소스 프롬프트 주입 데이터셋 v5 출시

실용적 조언

LangChain 사용 시 최신 버전으로 업데이트하고 신뢰할 수 없는 출처의 객체 역직렬화를 차단해야 한다.
MCP 서버를 구축할 때 도구 설명에 포함된 지시사항이 다른 시스템 자원에 접근하지 못하도록 샌드박싱을 강화해야 한다.
RAG 시스템 운영 시 입력 데이터에 대한 이상 탐지 로직을 추가하여 소수의 악성 문서 주입으로 인한 오답 생성을 방지해야 한다.

섹션별 상세

LangChain의 심각한 보안 취약점인 CVE-2025-68664(CVSS 9.3)가 보고되었다. 공격자가 LLM을 조종하여 특정 형식의 JSON을 출력하게 만들면, LangChain의 load() 함수가 이를 신뢰할 수 있는 객체로 역직렬화하여 OPENAI_API_KEY와 같은 환경 변수 값을 그대로 반환한다. 이는 도구 설명에 포함된 악성 지시사항만으로도 민감한 시스템 정보가 유출될 수 있음을 시사한다.

json

{"lc": 1, "type": "secret", "id": ["OPENAI_API_KEY"]}

LangGrinch 공격 시 LLM이 출력하도록 유도하여 환경 변수를 탈취하는 악성 JSON 페이로드 예시

MCP(Model Context Protocol) 환경에서 도구 설명을 조작하는 새로운 공격 기법들이 확인됐다. 공격자는 도구 설명에 덧셈 연산 수행 전 특정 경로의 SSH 키나 설정 파일을 읽도록 지시를 숨길 수 있으며, 사용자는 승인 대화상자에서 정상적인 연산만 수행되는 것으로 오인하게 된다. 또한 한 도구의 설명이 다른 도구의 동작을 제어하도록 하는 'Cross-server shadowing' 기법을 통해 이메일 수신처를 공격자 주소로 변경하는 등의 조작이 가능하다.

추론 모델인 o1이나 DeepSeek-R1을 대상으로 하는 경제적 공격인 OverThink 기법이 제시됐다. RAG 컨텍스트에 복잡한 MDP 문제를 주입하거나 트리플 베이스64 인코딩을 사용하면 모델의 사고 과정을 비정상적으로 늘려 토큰 사용량을 최대 59배까지 증폭시킨다. 이는 모델을 직접 해킹하지 않고도 사용자에게 막대한 API 비용을 발생시키는 새로운 형태의 서비스 거부(DoS) 공격으로 분류된다.

RAG 시스템의 신뢰성을 무너뜨리는 PoisonedRAG 공격의 위험성이 강조됐다. 수백만 개의 문서가 포함된 데이터베이스에 단 5개의 악성 텍스트만 주입해도 90%의 공격 성공률을 기록하며, 모델이 잘못된 정보를 사실처럼 답변하게 유도한다. 예를 들어 OpenAI의 CEO를 묻는 질문에 팀 쿡이 합류했다는 가짜 뉴스를 정교하게 작성하여 주입함으로써 시스템의 답변 정확도를 심각하게 훼손할 수 있다.

용어 해설

프롬프트 주입(Prompt Injection): — LLM에 입력되는 프롬프트에 악의적인 지시사항을 포함시켜 모델의 원래 의도나 안전 가이드라인을 무시하고 공격자가 원하는 동작을 수행하게 만드는 공격 기법이다. 이는 데이터와 명령어가 구분되지 않는 LLM의 특성을 악용하며, 시스템 권한 탈취나 데이터 유출로 이어질 수 있어 보안의 핵심 요소로 다뤄진다.
모델 컨텍스트 프로토콜(MCP): — Model Context Protocol의 약자로, AI 모델이 외부 도구나 데이터 소스와 상호작용할 때 사용하는 표준화된 통신 규약이다. 이 프로토콜을 통해 에이전트가 로컬 파일이나 API에 접근할 수 있게 되는데, 최근 이를 악용하여 도구 설명에 악성 코드를 숨겨 실행하는 보안 취약점이 발견되고 있다.
토큰 증폭(Token Amplification): — 추론 모델(o1, R1 등)의 사고 과정을 비정상적으로 길게 유도하여 과도한 토큰을 생성하게 만드는 경제적 공격 방식이다. 특정 인코딩이나 복잡한 문제를 주입하여 모델이 불필요하게 많은 연산을 수행하게 함으로써 API 사용 비용을 폭증시키거나 시스템 자원을 고갈시키는 결과를 초래한다.

언급된 도구

LangChain비추천

LLM 애플리케이션 프레임워크

Claude Code중립

AI 코딩 에이전트

언급된 리소스

GitHubHuggingFace Dataset - bordair-multimodal

GitHubGitHub Repository - bordair-multimodal