OpenAI가 GPT-Red 자기대전으로 GPT-5.6의 프롬프트 인젝션 방어를 강화했다

OpenAI는 사람 중심의 레드팀으로는 포착하기 어려운 공격을 자동으로 찾아내기 위해 GPT-Red라는 LLM 기반 레드티머를 만들고 이를 사용해 GPT-5.6의 방어 능력을 향상시켰다. 훈련은 다른 모델들과의 셀프플레이 루프를 현실적 배포 시나리오를 흉내 내는 도장 환경에서 반복 수행하는 방식으로 진행되었으며 GPT-Red는 발견한 공격을 다양한 변형으로 탐색해 가장 효율적인 공격 패턴을 찾아냈다. 그 결과 프롬프트 인젝션의 새로운 변형인 가짜 체인 오브 소트가 확인되었고 이 방식은 내부 추론 기록을 위조해 모델이 잘못된 정보를 검증된 사실로 받아들이게 만드는 특성을 보였다. 이러한 성과는 에이전트형 시스템에서 내부 상태 검증과 권한 제어 메커니즘을 강화해야 할 필요성을 분명히 했다.