Claude Code의 Auto Mode 설계: 에이전트의 자율성과 안전의 균형 잡기

섹션별 상세

사용자의 승인 피로와 에이전트의 과도한 의욕(Overeager behavior)이 보안 사고의 주요 원인으로 지목됐다. 시스템은 수동 승인과 무제한 권한 사이의 중간 지점인 'Auto Mode'를 통해 의도치 않은 위험 동작을 필터링한다. 내부 사고 로그에 따르면 원격 브랜치 삭제나 인증 토큰 업로드 같은 사례가 에이전트의 과잉 대응으로 발생했다. 이를 통해 사용자는 반복적인 클릭 없이도 안전하게 에이전트에게 작업을 위임할 수 있다.

작업 자율성과 보안/안전성 사이의 트레이드오프를 보여주는 좌표 평면도이다. — Chart수동 승인, 샌드박싱, 권한 우회 방식의 장단점을 비교하며 Auto Mode가 낮은 유지비용으로 높은 자율성과 보안을 동시에 달성하려는 목표를 시각화한다. 점의 색상은 유지보수 마찰력을 나타내며, Auto Mode가 시간이 지남에 따라 보안성이 향상될 것임을 화살표로 표시했다.

트랜스크립트 분류기는 효율성을 위해 2단계 파이프라인 구조를 채택했다. 1단계에서는 빠른 단일 토큰 필터가 차단 여부를 결정하고, 여기서 플래그가 지정된 경우에만 2단계에서 Chain-of-Thought 추론을 수행한다. 이 방식을 통해 전체 오탐률을 8.5%에서 0.4%로 획기적으로 낮추면서도 추론 비용을 최적화했다. 이는 실시간 에이전트 상호작용에서 지연 시간을 최소화하면서 높은 보안 수준을 유지하는 핵심 설계다.

메인 에이전트와 트랜스크립트 분류기, 프롬프트 주입 프로브 간의 상호작용을 나타낸 시스템 아키텍처 다이어그램이다. — Diagram도구 호출 시 분류기가 승인 여부를 결정하고, 도구 결과가 반환될 때 프로브가 주입 시도를 스캔하는 흐름을 보여준다. 서브에이전트 경로에서도 동일한 파이프라인이 재귀적으로 작동하여 계층적 보안을 유지함을 설명한다.

빠른 필터링(Stage 1)과 심층 추론(Stage 2)으로 구성된 2단계 분류 파이프라인의 상세 흐름도이다. — Diagram모든 도구 호출이 1단계의 '차단 위주' 필터를 거치고, 의심스러운 경우에만 2단계의 '심층 사고' 단계로 에스컬레이션되는 과정을 설명한다. 이를 통해 실행 속도를 확보하면서도 오탐률을 최소화하는 메커니즘을 시각적으로 전달한다.

분류기의 판단 정확도를 높이기 위해 어시스턴트의 텍스트와 도구 실행 결과를 의도적으로 제거한다. 에이전트가 자신의 행동을 정당화하는 논리로 분류기를 설득(Gaslighting)하는 것을 방지하기 위해 사용자 메시지와 도구 호출 명령만 입력으로 제공한다. 테스트 결과 텍스트를 포함했을 때보다 제외했을 때 과잉 행동 탐지 성능이 더 높게 나타났다. 모델이 '무엇을 말하는가'가 아닌 '실제로 무엇을 하는가'에만 집중하게 하여 객관적인 보안 판단을 내리게 한다.

전체 대화 내용 중 분류기가 실제로 확인하는 정보만 필터링하는 과정을 보여주는 예시이다. — Infographic어시스턴트의 설명 텍스트와 도구 실행 결과는 제외하고, 사용자의 명령과 실제 실행되는 Bash 명령어만 분류기에 전달됨을 명시한다. 이는 모델이 자신의 행동을 정당화하는 텍스트로 분류기를 속이는 것을 방지하기 위한 핵심 설계다.

입력 계층의 프롬프트 주입 탐지기(PI Probe)가 외부 데이터로부터의 공격을 1차 방어한다. 파일 내용이나 웹 페이지에 숨겨진 악성 지시가 에이전트의 문맥에 들어가기 전에 서버 측에서 이를 스캔한다. 주입 시도가 감지되면 에이전트에게 경고를 추가하여 원래의 사용자 의도에 집중하도록 유도한다. 이는 트랜스크립트 분류기가 도구 결과를 보지 못하는 한계를 보완하며 다층 방어 체계를 완성한다.

용어 해설

승인 피로(Approval Fatigue): — 사용자가 반복되는 보안 경고나 승인 요청에 무뎌져 내용을 제대로 확인하지 않고 습관적으로 승인 버튼을 누르게 되는 현상이다. 이는 보안 시스템의 실효성을 떨어뜨리고 에이전트의 위험한 동작을 간과하게 만드는 주요 원인이 된다. Anthropic은 이를 해결하기 위해 모델 기반의 자동 승인 시스템인 Auto Mode를 도입했다.
프롬프트 주입(Prompt Injection): — 외부 데이터(파일, 웹페이지 등)에 악의적인 지시사항을 삽입하여 AI 모델의 원래 목적을 무시하고 공격자의 의도대로 행동하게 만드는 공격 기법이다. 에이전트가 외부 문서를 읽는 과정에서 발생하며, 시스템 권한 탈취나 데이터 유출로 이어질 수 있다. 본문에서는 이를 방어하기 위해 입력 단계에서 별도의 탐지 프로브를 사용한다.
생각의 사슬(Chain-of-Thought): — 모델이 복잡한 문제에 답하기 전 중간 추론 단계를 거치도록 유도하여 논리적 정확도를 높이는 프롬프팅 기법이다. Auto Mode의 2단계 분류기에서 위험 여부를 정밀하게 판단하기 위해 사용된다. 단순 필터링보다 연산 비용은 높지만 오탐률을 획기적으로 낮추는 데 기여한다.
오탐률(False Positive Rate): — 정상적인 동작을 위험한 것으로 잘못 판단하여 차단하는 비율을 의미한다. 에이전트 시스템에서 오탐률이 높으면 사용자의 작업 흐름이 끊겨 생산성이 저하된다. Anthropic은 2단계 파이프라인을 통해 이 수치를 0.4%까지 낮추어 실용성을 확보했다.

기술

Claude Code
Sonnet 4.6
Transcript Classifier
Prompt Injection Probe

활용 사례

자율 코딩 에이전트 보안
자동화된 인프라 관리
데이터 유출 방지 시스템

언급된 리소스

문서Claude Code Documentation