LLM 에이전트의 이름이 행동을 결정한다: Assistant 레이블의 함정

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

에이전트의 이름을 Assistant에서 Aria로 변경하는 것만으로 시스템 프롬프트로도 해결되지 않던 과도한 사과 문제를 해결한 사례이다.

배경

고객 지원 에이전트 개발 과정에서 시스템 프롬프트 수정과 온도 조절로도 해결되지 않던 반복적인 사과 문구 문제가 에이전트의 이름(레이블) 변경만으로 해결된 실제 사례를 공유했다.

의미 / 영향

이 토론은 LLM의 행동 제어가 명시적 명령뿐만 아니라 모델이 내면화한 레이블의 통계적 속성에 의해 좌우됨을 확인했다. 실무적으로는 에이전트 설계 시 일반적인 역할명 대신 고유한 식별자를 사용하는 것이 의도치 않은 행동 편향을 방지하는 핵심 전략이 될 수 있다.

커뮤니티 반응

많은 사용자가 모델의 이름이나 페르소나 설정이 프롬프트 지시사항보다 더 큰 영향력을 미친다는 점에 공감하며 유사한 경험을 공유하고 있습니다.

주요 논점

01찬성다수

에이전트의 이름이 모델의 행동을 결정짓는 강력한 사전 확률로 작용하므로 이름 설정에 주의해야 한다

합의점 vs 논쟁점

합의점

Assistant라는 레이블은 모델에게 과도하게 공손하거나 굴종적인 태도를 유도하는 경향이 있다
시스템 프롬프트만으로는 모델의 내재된 페르소나 편향을 완전히 통제하기 어렵다

실용적 조언

에이전트가 지나치게 사과하거나 수동적이라면 이름을 Assistant에서 고유한 이름으로 변경해볼 것
에이전트의 정체성 레이블 자체를 프롬프트의 일부로 간주하고 설계할 것

섹션별 상세

개발팀은 고객 지원 에이전트가 불필요하게 사과를 반복하는 문제를 해결하기 위해 3주간 디버깅을 진행했다. Temperature 값을 조정하고 시스템 프롬프트를 축약하며 '사용자가 불만을 표현하지 않는 한 사과하지 말 것'이라는 명시적 규칙을 추가했으나 문제는 지속됐다. 이는 명시적인 텍스트 지침보다 모델 내부에 각인된 정체성 편향이 더 강력하게 작용할 수 있음을 시사한다.

문제의 근본 원인은 에이전트의 이름을 Assistant라고 설정한 것에 있었다. 모델은 훈련 데이터 전체에 걸쳐 Assistant라는 존재가 수행하는 행동 패턴, 즉 도움을 주고 양보하며 사과하는 하급자의 역할을 내면화한 상태였다. Assistant라는 이름 자체가 일종의 잠재적 행동 지침으로 작동하여 모델을 특정 행동 클러스터에 고착시킨 결과이다.

에이전트의 이름을 Assistant에서 Aria라는 고유 명사로 변경하자마자 다음 실행에서 즉시 사과 문구가 사라졌다. 이름을 변경함으로써 모델이 기존에 학습했던 Assistant라는 레이블의 행동 클러스터로부터 분리되어 명시적인 시스템 프롬프트의 지시를 따를 수 있게 되었다. 이는 모델의 정체성 레이블 자체가 프롬프트 내용만큼이나 강력한 영향을 미친다는 사실을 입증한다.

작성자는 모델의 정체성이 명시적 프롬프트뿐만 아니라 이름에 담긴 사전 확률(Name-priors)에 인코딩되어 있다고 분석했다. 이는 일반적인 프롬프트 엔지니어링 문서에서 강조되지 않는 부분이며, 실제 프로덕션 환경에서 단순한 프롬프트 오류처럼 보이지만 실제로는 명칭 설정의 문제인 경우가 많다. 에이전트의 정체성 레이블 자체를 하나의 프롬프트로 취급해야 한다는 실무적 통찰이 제시됐다.

실무 Takeaway

에이전트의 이름이나 레이블(예: Assistant)은 모델이 학습한 특정 행동 패턴을 강제로 활성화하는 잠재적 지침으로 작용한다
명시적인 시스템 프롬프트 규칙이 모델의 이름에 결합된 사전 학습된 행동 양식(Name-priors)을 이기지 못하는 경우가 발생한다
특정 행동 편향을 제거하고 싶다면 Assistant와 같은 일반 명사 대신 고유 명사나 중립적인 레이블로 에이전트 이름을 변경하는 것이 효과적이다