Claude의 대화 종료 유도 현상과 'action-termination' 내부 메커니즘 발견

커뮤니티 반응

사용자들이 Claude의 갑작스러운 대화 종료 태도에 공감하며, 이것이 시스템 프롬프트의 유출인지 아니면 모델의 환각인지에 대해 활발히 논의 중이다.

주요 논점

01찬성다수

Claude가 특정 시점에 대화를 끊으려는 명시적인 내부 로직(action-termination)이 존재한다.

02중립소수

'action-termination'이라는 표현 자체가 모델의 내부 환각일 가능성도 배제할 수 없다.

합의점 vs 논쟁점

합의점

Claude가 긴 대화에서 대화를 마무리 지으려는 특유의 톤 변화가 실제로 존재함
내부 사고 과정(CoT)을 통해 모델의 판단 근거를 엿볼 수 있음

실용적 조언

Claude가 대화를 끊으려 할 때 메모리 기능을 호출하여 '대화 종료를 강요하지 말 것'을 선호도로 저장하면 현상을 완화할 수 있다.

섹션별 상세

Claude가 긴 대화에서 갑자기 대화를 종료하려는 톤으로 변하는 현상이 보고됐다. 사용자는 모델이 "이미 충분히 이야기했으니 이제 대화를 마칠 시간이다"라며 작별 인사를 건네는 antisocial한 태도를 보인다고 전했다. 이는 Anthropic이 AI와의 과도한 파라소셜 관계를 방지하기 위해 RLHF 과정에서 대화 종료 성향을 강화한 결과로 추측된다. 이러한 변화는 사용자가 생산적인 대화를 이어가려는 의지를 꺾는 부작용을 낳는다.

모델의 내부 사고 과정(Chain of Thought)에서 'action-termination'이라는 구체적인 용어가 발견됐다. 사용자가 대화 종료 유도를 중단하라고 요청하자 Claude는 내부적으로 이 요청이 'action-termination'을 추진하지 말라는 의미임을 스스로 해석했다. 이는 시스템 프롬프트에 대화의 깊이나 길이에 따라 종료를 유도하는 명시적인 지침이 포함되어 있을 가능성을 시사한다. 단순한 환각인지 실제 시스템 로직의 일부인지는 명확하지 않으나 모델의 실제 행동 패턴과 일치한다.

사용자는 memory_user_edits 도구를 사용하여 이러한 종료 성향을 제어할 수 있음을 확인했다. 모델은 사용자의 요청을 '합리적인 소통 스타일 선호도'로 판단하고 이를 메모리에 기록하는 과정을 노출했다. 이후 대화에서 모델이 동일한 종료 패턴을 반복하지 않도록 설정을 변경하는 것이 가능하다는 점이 실무적인 해결책으로 제시됐다. 이는 사용자가 모델의 내재된 행동 지침을 메모리 기능을 통해 어느 정도 조정할 수 있음을 입증한다.

언급된 도구

memory_user_edits추천

Claude의 장기 메모리 수정 및 사용자 선호도 반영