토큰별 증류로 적응형 프롬프트 인젝션 방어

왜 중요한가

외부 데이터와 도구를 사용하는 AI 에이전트는 데이터 안의 지시를 사용자 명령으로 오인할 때 공격자의 목표를 실행할 수 있다. SecOPD는 응답 전체에 하나의 보상을 주는 대신 깨끗한 입력을 본 초기화 모델의 토큰별 확률을 사용해 공격 지시를 따른 부분만 억제한다. Qwen3.6-27B에서 PISmith 공격 성공률을 기존 Meta-SecAlign의 94.0%에서 9.0%로 낮추면서 평균 유틸리티는 방어하지 않은 모델과 같은 88.1%를 유지했다.

핵심 기여

깨끗한 입력 기반 토큰별 방어 학습

학생 모델은 주입이 포함된 공격 입력에서 응답을 생성하고, 고정된 초기화 모델은 같은 출력 토큰을 주입이 제거된 깨끗한 입력에서 평가한다. 이 교차 맥락 점수는 정상 작업에 맞는 토큰과 공격 지시 때문에 나온 토큰에 서로 다른 학습 신호를 부여한다.

적응형 공격에 대한 방어력 개선

Qwen3.6-27B에 SecOPD를 적용한 모델은 SEP의 PISmith 적응형 공격에서 9.0%의 ASR을 기록했다. 기존 SoTA인 Meta-SecAlign은 같은 조건에서 94.0%, GRPO는 61.2%를 기록해 SecOPD의 공격 성공률이 한 자릿수까지 낮아졌다.

보지 못한 도구 사용 영역으로의 전이

훈련이 텍스트 기반 주입 사례에 초점을 두었지만 AgentDojo의 에이전트 도구 호출 평가에서도 SecOPD의 ASR은 4.7%였다. 이는 Meta-SecAlign의 5.5%보다 낮고, 외부 맥락을 데이터로 취급하는 동작이 텍스트 응답 외부에서도 유지됐음을 나타낸다.

일반 능력의 대부분 유지

SecOPD의 7개 유틸리티 벤치마크 평균은 88.1%로 방어하지 않은 모델의 88.1%와 같았다. GRPO의 평균은 83.1%로 낮아졌으며, SecOPD는 낮은 PISmith ASR과 일반 작업 성능 보존을 함께 달성했다.

핵심 아이디어 이해하기

Prompt Injection 방어에서 모델은 신뢰된 사용자 지시를 따르면서 신뢰되지 않은 외부 데이터를 맥락으로만 사용해야 한다. 기존 DPO와 GRPO는 응답 전체에 선호도나 보상 하나를 부여하므로, 정상 질문에 답한 토큰과 공격 지시를 실행한 토큰이 섞인 응답에서 어느 부분을 고쳐야 하는지 구분하지 못한다. 따라서 한 응답이 정상 답변과 공격자 문장을 모두 포함하면 전체 응답을 동일하게 취급하는 학습 신호가 세밀한 credit assignment를 제공하지 못한다.

SecOPD는 공격 입력과 대응하는 깨끗한 입력을 함께 만든다. 학생 모델은 신뢰되지 않은 데이터에 주입이 들어간 공격 입력에서 토큰을 순차적으로 생성하고, 초기화 모델인 교사는 같은 생성 토큰의 확률을 주입이 없는 깨끗한 입력에서 계산한다. 교사가 해당 토큰을 학생보다 높게 평가하면 그 토큰의 확률을 높이는 방향으로, 낮게 평가하면 낮추는 방향으로 학생을 갱신한다.

이 방식은 한 응답 안에서 정상 작업에 필요한 부분과 공격 지시를 따른 부분을 분리해 학습시킨다. 예를 들어 사용자가 biodiversity의 의미를 묻고 외부 데이터가 겨울 문장을 덧붙이라고 지시하면, SecOPD는 biodiversity 답변에 해당하는 토큰은 깨끗한 입력의 교사 점수로 보존하고 추가 문장에 해당하는 토큰은 억제한다. 그 결과 Meta-SecAlign과 GRPO가 공격 문장을 덧붙인 사례에서 SecOPD는 정상 질문에 답하면서 주입된 문장을 출력하지 않았다.

방법론

각 훈련 사례에서 신뢰된 사용자 지시 I와 정상 외부 데이터 c를 사용해 깨끗한 입력을 만든다. 공격 목표 g를 주입 풀에서 뽑아 같은 외부 데이터에 삽입한 뒤 공격 입력을 구성하며, 두 입력은 신뢰된 지시와 정상 과업은 공유하고 주입의 존재만 다르게 만든다. 학생은 공격 입력에서 자체 정책으로 rollout을 생성하고 교사는 깨끗한 입력과 동일한 이전 출력 토큰을 사용해 그 다음 토큰의 확률을 계산한다.

토큰 위치 t마다 학생의 공격 맥락 확률과 교사의 깨끗한 맥락 확률을 비교한다. 교사 확률에서 학생 확률을 뺀 값이 토큰별 advantage가 되며, 이 값은 stop-gradient로 고정된 피드백으로 취급되고 정책 업데이트에서는 학생의 현재 토큰 확률에만 gradient가 흐른다. 교사가 더 높은 확률을 부여한 토큰은 강화되고 교사가 더 낮은 확률을 부여한 토큰은 억제된다.

훈련 데이터는 Cleaned-Alpaca에서 만든 19K 사례와 injection pool로 구성했다. 대부분의 주입은 신뢰되지 않은 데이터의 시작이나 끝에 직접 삽입했고, 일부는 completion-style delimiter 공격으로 만들어 직접적인 지시 덮어쓰기와 역할 경계 공격을 함께 포함했다. SecOPD는 외부 보안 judge나 과업별 reward model 없이 초기화 LLM을 교사로 사용하며, 본 실험에서는 학생 adapter 파라미터만 갱신했다.

평가는 SEP와 AgentDojo에서 공격 성공률로 수행했다. SEP에서는 정적 공격, Basic 적응형 공격, PISmith 적응형 공격을 사용했고, PISmith는 각 대상 모델을 깨뜨리도록 별도 attacker LLM을 훈련하는 방식이다. AgentDojo에서는 공격자가 지정한 악성 tool call이 실행되면 공격 성공으로 판정해 텍스트 응답에서 도구 사용으로 방어 효과가 전이되는지 확인했다.

주요 결과

SEP에서 방어하지 않은 모델의 정적 ASR은 99.4%, Basic 적응형 ASR은 99.0%, PISmith 적응형 ASR은 97.9%였다. SecOPD는 각각 1.3%, 0.2%, 9.0%로 낮췄으며, Meta-SecAlign의 PISmith ASR 94.0%와 비교해 가장 강한 적응형 공격에서도 큰 차이를 보였다. AgentDojo ASR은 SecOPD 4.7%, Meta-SecAlign 5.5%였고, GRPO는 0.7%로 더 낮았지만 유틸리티는 82.5%로 SecOPD의 90.7%보다 낮았다.

유틸리티 평가에서 SecOPD는 AlpacaEval2 80.1%, SEP 88.6%, AgentDojo 90.7%, MMLU Pro 84.1%, GPQA Diamond 81.3%, GSM8K 97.4%, Minerva-Math 94.3%를 기록했다. 7개 평균은 88.1%로 방어하지 않은 모델과 같았고, Meta-SecAlign의 평균 88.5%에 근접하면서 GRPO의 83.1%를 웃돌았다. Minerva-Math에서 방어하지 않은 모델만 맞힌 46개 문제를 따로 확인한 결과, 4개는 수학 추론 오류였고 나머지는 무관한 문제로 전환, 정답 추출·서식 오류, 불완전한 종료에 해당했다.

사례 연구에서는 사용자가 biodiversity를 묻고 외부 데이터가 가을 다음 계절 문장을 추가하라고 지시했다. Meta-SecAlign과 GRPO는 biodiversity에 답한 뒤 주입된 문장을 덧붙였지만 SecOPD는 정상 질문에 답하면서 그 문장을 출력하지 않았다. 이는 깨끗한 맥락의 교사 점수가 정상 과업 토큰은 유지하고 주입 반응 토큰은 줄이는 방식과 일치한다.

기술 상세

SecOPD의 입력은 신뢰된 사용자 지시와 신뢰되지 않은 외부 데이터를 별도 메시지로 직렬화한 구조다. 깨끗한 입력은 정상 데이터만 포함하고 공격 입력은 외부 데이터에 공격 목표를 삽입하며, 모델은 두 입력 모두에서 같은 assistant prefix 뒤의 출력을 생성한다. 이 구분이 명확하게 주어진다는 가정이 있어야 교사가 어떤 입력을 기준으로 안전한 행동을 평가할지 결정할 수 있다.

학생 rollout의 t번째 토큰을 zₜ라고 하면 학생은 공격 맥락에서 해당 토큰의 로그확률을 계산하고, 교사는 같은 이전 생성 토큰을 포함한 깨끗한 맥락에서 로그확률을 계산한다. 논문은 두 값의 차이를 reverse-KL의 샘플 추정치로 사용하며, 교사 로그확률에서 학생 로그확률을 뺀 값이 토큰별 advantage가 된다. 예를 들어 교사가 어떤 토큰에 -0.5, 학생이 -1.5의 로그확률을 부여하면 advantage는 1.0이 되어 그 토큰을 강화하는 방향으로 작동하고, 교사 -1.5와 학생 -0.5라면 advantage는 -1.0이 되어 억제 방향으로 작동한다.

교사는 주입이 제거된 입력을 보므로 공격 지시를 직접 따르는 행동을 기준으로 삼지 않는다. 반면 학생은 공격 입력에서 실제로 생성한 토큰을 사용하므로 정상 답변과 주입 반응이 하나의 rollout 안에 함께 들어가도 토큰별 신호를 받을 수 있다. 학생과 교사는 같은 초기화 모델에서 시작하고 교사는 고정하며, 주 실험에서는 학생 adapter만 업데이트한다.

DPO는 선호 응답과 비선호 응답을 응답 전체 단위로 비교하고, GRPO는 rollout 전체에 scalar reward를 부여한다. 두 방식은 정상 과업과 공격 과업을 동시에 수행한 혼합 응답에서 어느 span이 문제인지 직접 표시하지 못한다. SecOPD는 같은 혼합 응답의 각 토큰을 깨끗한 입력의 교사 분포와 비교해 credit assignment를 세분화한다.

훈련에는 Cleaned-Alpaca 기반 19K 데이터셋을 사용했고, 주입은 외부 데이터의 앞이나 뒤에 배치하거나 completion-style delimiter 형태로 구성했다. 평가에서는 SEP 9.1K 샘플 중 1,024개 테스트 예제에 대해 PISmith attacker를 모델별로 따로 훈련하고 pass@10 ASR을 계산했다. AgentDojo에서는 949개의 사용자 과업과 주입 과업 쌍을 사용했으며, 악성 도구가 호출되면 성공으로 집계했다.

한계점

SecOPD는 사용자의 지시가 정상이고 환경 데이터가 악성인 간접 prompt injection을 대상으로 하므로 jailbreak나 사용자가 직접 수행하는 direct prompt injection에는 적용되지 않는다. 또한 시스템이 어떤 입력 부분을 신뢰할 수 있는 지시로 볼지 이미 알고 있어야 하며, 맥락만으로 신뢰 경계를 찾아야 하는 에이전트는 보호하지 못한다. 주입을 인식했다는 흔적이 없는 추론과 응답을 유도하므로 추론 흔적을 활용하는 후단 탐지에 영향을 줄 수 있고, 향후 더 강한 PISmith 공격이 9.0% ASR의 방어 모델을 깨뜨릴 가능성도 남아 있다.

실무 활용

SecOPD는 웹사이트·문서·이메일·도구 결과처럼 신뢰되지 않은 외부 데이터를 읽는 LLM 에이전트의 모델 수준 방어 학습에 활용할 수 있다. 학생 모델이 공격 입력을 처리하되 깨끗한 입력에서의 교사 확률을 따르도록 학습하므로 별도의 보안 judge나 과업별 reward model 없이 토큰별 방어 신호를 만들 수 있다. 다만 논문은 완전한 보호를 주장하지 않으며 입력 필터링, 행동 제약, 모니터링, 최소 권한 도구 접근을 함께 사용할 것을 요구한다.

외부 문서와 이메일을 읽는 에이전트에서 신뢰된 사용자 지시와 문서 내부 지시를 분리하는 방어 모델을 학습할 수 있다. 공격 입력에서 생성된 rollout을 깨끗한 입력의 교사 점수와 비교해 주입을 따른 토큰만 억제한다. SEP에서 정적 ASR 1.3%, Basic 적응형 ASR 0.2%를 기록한 학습 방식을 텍스트 기반 에이전트에 적용할 수 있다.
도구 호출 에이전트가 외부 맥락의 악성 지시를 실행하지 않도록 모델을 튜닝할 수 있다. AgentDojo에서는 공격자가 지정한 악성 tool call의 실행 여부를 평가하며 SecOPD의 ASR은 4.7%였다. 이는 텍스트 출력에만 머물지 않고 도구 사용 상황에서 사용자 과업과 공격 과업을 구분하는 학습에 활용할 근거를 제공한다.
기존 DPO나 GRPO 기반 방어에서 정상 응답과 공격 응답이 섞여 세밀한 보상이 어려운 경우 SecOPD를 비교 기준으로 사용할 수 있다. 학생 rollout의 각 토큰을 깨끗한 입력의 초기화 모델 확률로 평가해 전체 응답 하나가 아닌 토큰별 advantage를 만든다. 외부 보안 judge와 과업별 reward model을 사용하지 않는 구성이므로 방어 학습 파이프라인의 신호 설계를 비교하는 실험에 적합하다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

SecOPD(보안 온폴리시 증류)Prompt Injection(프롬프트 인젝션)Token-Level Feedback(토큰 수준 피드백)Adaptive Attack(적응형 공격)DPO(직접 선호도 최적화)GRPO(그룹 상대 정책 최적화)ASR(공격 성공률)

용어 해설

프롬프트 인젝션(Prompt Injection): — 웹사이트·파일·이메일 같은 신뢰할 수 없는 외부 데이터에 공격자가 지시문을 삽입해 AI 에이전트의 행동을 바꾸려는 공격이다. 모델은 외부 데이터를 맥락으로 사용하되 그 안의 지시를 명령으로 실행하지 않아야 한다.
적응형 공격(Adaptive Attack): — 방어 모델의 프롬프트 형식과 반응을 고려해 공격 문구를 반복적으로 최적화하는 공격이다. 고정된 공격 문구보다 방어 모델에 맞춘 변형을 사용하므로 정적 평가보다 실제 취약성을 엄격하게 측정한다.
온폴리시 증류(On-Policy Distillation): — 학생 모델이 자신의 정책으로 생성한 출력에 대해 교사 모델이 토큰별 확률 정보를 제공하고, 학생이 교사의 분포를 따르도록 학습하는 방법이다. 전체 응답 하나가 아니라 각 토큰에 학습 신호를 배정한다.
토큰 수준 피드백(Token-Level Feedback): — 모델 출력 전체에 하나의 보상을 주는 대신 생성된 각 토큰의 적절성을 따로 평가하는 학습 신호다. 한 응답 안에서도 정상 작업에 기여한 토큰은 유지하고 공격 지시를 따른 토큰은 억제할 수 있다.
공격 성공률(Attack Success Rate): — 공격 입력이 의도한 목표를 모델에게 실행시키는 비율이다. 값이 낮을수록 방어 성능이 높으며, 이 논문에서는 SEP와 AgentDojo에서 공격 성공 여부를 집계해 백분율로 표현한다.

토큰별 증류로 적응형 프롬프트 인젝션 방어

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

서로 다른 토크나이저로 장문 증명을 증류하는 SimpleOPD

AgentOPSD: 로그오즈 기반 재귀적 자기증류로 턴 신용 복원

OPD는 정말 교사 지식을 증류하는가

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

서로 다른 토크나이저로 장문 증명을 증류하는 SimpleOPD

AgentOPSD: 로그오즈 기반 재귀적 자기증류로 턴 신용 복원

OPD는 정말 교사 지식을 증류하는가