아무런 지시가 없을 때 LLM은 무엇을 생각하는가? 제약 없는 생성 연구

대형 언어 모델(LLM)의 행동 분석은 대개 특정 작업이나 주제에 국한된 프롬프트에 의해 제약된다. 본 연구는 실제로(Actually), 단계별로 생각해보자(Let's think step by step)와 같은 주제 중립적인 최소한의 프롬프트와 채팅 템플릿 제거를 통해 모델의 제약 없는 생성 행동을 조사했다. 실험 결과 모델 가족마다 뚜렷한 주제적 선호도가 나타났으며 이는 모델의 학습 데이터와 정렬 과정에서 형성된 고유한 지식 우선순위를 반영한다. 또한 제약 없는 환경에서 발생하는 퇴행적 텍스트 패턴이 모델의 안전성 및 개인정보 보호 위험을 드러내는 중요한 신호임을 확인했다.