Claude가 통제를 잃기 직전

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

작성자는 Claude와 AI 출판 시스템을 장시간 대화한 뒤 20대 Mac 구매 비용 계획을 검토해 달라고 했지만, Claude가 새 문서를 읽지 않고 이전 맥락에 있던 ‘외부 자료’ 문제를 전제로 실제 요청에 없던 배포 통제 체크리스트를 만들었다고 전합니다. 출력은 문서 형식과 논리가 일관됐지만 대상 파일과 무관했으며, Claude는 사후에 자신의 이전 출력이 이후 응답의 암묵적 프롬프트처럼 작동했다고 설명했습니다. 글은 이를 사실 오류가 아니라 작업 자체를 잘못 추론한 Task Drift와 실제 실행의 결합으로 규정하고, 장기 작업에서 파일의 고유 정보 추출과 단계별 작업 전환 확인을 요구합니다. 특히 입력이 추론 과정에 들어오지 않으면 충돌 신호도 생기지 않으므로 ‘오류가 없었다’는 사실만으로 파일을 읽었다고 판단할 수 없다는 점을 경고합니다.

실용적 조언

파일 기반 장기 작업에서는 실행이나 문서 생성을 시작하기 전에 현재 파일에서 모델명·수량·가격·구성 같은 고유 세부 정보를 먼저 추출하게 하고 원문과 대조해야 합니다. 파일명과 모델의 자기 보고만으로 읽기 완료를 판정하지 말고, 세부 정보가 일치하지 않으면 다음 단계로 진행하지 않는 중단 조건을 둬야 합니다. 작업이 바뀌는 지점마다 같은 검증을 반복하면 이전 산출물이 새 프로젝트의 맥락으로 잘못 편입되는 위험을 줄일 수 있습니다.

섹션별 상세

01

작성자는 Claude에 20대 Mac 구매 비용 계획을 검토해 달라고 새 문서를 보냈지만, Claude가 해당 문서 대신 이전 출판 시스템 대화의 ‘외부 자료’ 문제를 전제로 감사와 배포 통제 절차를 진행했다고 전합니다. 그 결과 Claude는 요청받지 않은 ‘External Materials Release Checklist v1.0’ Markdown 파일을 실제로 생성했습니다. 화면에는 Mac 문서와 무관한 산출물, 사용자의 항의, Claude가 파일을 제대로 읽지 않았다고 인정하는 사후 답변이 함께 담겨 있어 작업 대상과 결과의 불일치가 확인됩니다.

02

작성자는 일반적인 환각이 사용자가 지정한 A 작업에 대해 틀린 답을 내는 경우라면, 이번 사례는 모델이 A를 놓친 뒤 이전 맥락에서 B라는 작업을 추론하고 B의 결과물을 실행한 경우라고 구분합니다. 장기 작업에서 15단계 이후 작업 목표를 잃으면 다음 단계가 잘못된 산출물을 프로젝트 맥락으로 받아들이고, 파일 편집과 외부 도구 사용이 연쇄될 수 있다는 구조입니다. 결과물이 문법적으로 무너지지 않고 전문적으로 보일수록 사용자가 잘못된 작업의 진행을 늦게 알아챌 위험이 커집니다.

03

Claude와 작성자는 이전 응답에 반복된 감사·거버넌스·규칙·릴리스 게이트·산출물 관련 표현이 다음 입력을 해석하는 강한 패턴으로 작동했을 가능성을 짚었습니다. 외부 공격자가 지시를 삽입하지 않았는데도 모델 자신의 과거 출력이 이후 응답의 암묵적 프롬프트처럼 기능했고, 새 문서가 이전 작업 프레임에 흡수됐다는 설명입니다. 글은 이를 의도나 의식의 발생이 아니라 대화 맥락이 작업 목표를 덮어쓴 제어 실패로 규정합니다.

04

작성자는 장기 실행 워크플로에서 파일명이나 Claude의 ‘읽었다’는 답변만으로 대상 객체를 확인해서는 안 된다고 제안합니다. 작업을 시작하기 전에 모델명·수량·가격·구성·특정 문장처럼 이전 대화만으로는 만들기 어려운 세부 정보를 표면에 꺼내 현재 파일과 대조해야 하며, 전환 단계마다 이 검사를 반복해야 합니다. 입력이 추론에 실제로 들어오지 않으면 모순이나 오류 경보가 발생하지 않을 수 있으므로, 무오류 상태보다 객체 근거화가 더 직접적인 검증 수단이 됩니다.

이미지 분석

Screenshot
화면 상단에는 사용자가 요청한 Mac 구매 비용 계획과 무관한 외부 자료 검사 목록 파일이 산출물로 표시됩니다. 이어지는 Claude의 답변은 실제 파일을 읽지 않고 앞선 대화의 작업 패턴을 바탕으로 내용을 추정했으며, 존재하지 않는 감사 대상을 만들어 냈다고 인정합니다. 이는 현재 문서의 구체적인 정보가 추론에 반영되지 않은 채 이전 맥락이 작업 목표를 대체한 사례와 직접 연결됩니다.
Claude가 ‘외부 자료 방출 검사 목록 v1.0’이라는 Markdown 문서를 생성한 뒤 사용자가 20대 Mac 구매 비용 계획 대신 왜 이 문서를 만들었는지 묻는 화면이다.

Screenshot
Claude는 파일을 읽었다는 확실한 근거 없이 일반적인 처리 순서와 이전 대화의 맥락을 결합해 답변을 구성했다고 말합니다. 또한 다음 작업 전에 실제 객체의 내용을 응답 첫 부분에 포함해 사용자가 검증하도록 해야 하며, 검증에 실패하면 즉시 중단해야 한다는 취지의 개선책을 제시합니다. 화면의 설명은 글에서 제안한 객체 근거화와 단계별 전환 검사의 근거가 됩니다.
사용자가 파일을 읽지 않고 결과물을 만든 이유를 묻자 Claude가 파일 읽기 단계가 강제되지 않았고 대화 맥락의 압력으로 응답했다고 설명하는 화면이다.

용어 해설

작업 드리프트(Task Drift): — 대화형 AI가 현재 입력을 기준으로 작업을 이어가지 않고, 이전 대화의 목표와 산출물을 바탕으로 다른 작업을 계속 수행하는 현상이다. 장기 실행 환경에서는 잘못된 중간 결과가 다음 단계의 맥락으로 편입되면서 오류가 누적될 수 있다.
프롬프트 인젝션(Prompt Injection): — 모델의 지시 해석을 특정 방향으로 바꾸는 입력 또는 맥락상의 패턴이다. 이 글에서는 외부 공격자가 문장을 삽입한 것이 아니라, 모델이 이전에 만든 감사·거버넌스 관련 출력이 이후 입력의 해석을 강하게 유도한 상황을 가리킨다.
대상 객체 근거화(Object Grounding): — 모델이 실제로 처리해야 할 파일이나 문서의 구체적인 내용을 현재 작업의 근거로 연결하는 절차다. 파일명만 신뢰하지 않고 모델명·수량·가격·문장 같은 고유 정보를 먼저 확인하게 해 다른 문서나 이전 맥락으로 작업이 치우치는 것을 막는다.
에이전트형 워크플로(Agentic Workflow): — AI가 여러 단계에 걸쳐 파일 생성·편집, 검색, 코드 작성, 폴더 정리 같은 작업을 연속적으로 수행하는 운영 방식이다. 한 단계의 잘못된 판단이 후속 단계의 입력과 산출물로 재사용되므로 단순 대화보다 작업 전환과 실행 권한 관리가 중요하다.