Nemotron 3 Super가 자신의 추론 과정을 사용자 메시지로 오해하는 현상

사용자가 겪은 특이한 루프 현상에 대해 흥미롭다는 반응이며, 모델의 추론 능력이 오히려 독이 된 사례로 평가된다.

• 추론 모델 사용 시 프롬프트 템플릿에서 Thinking 블록을 명확히 구분하는 특수 토큰이 제대로 처리되는지 확인해야 한다
• 무한 루프 방지를 위해 최대 생성 토큰 제한을 설정해야 한다

사고의 사슬(Chain-of-Thought)

— 모델이 최종 답변을 내기 전 거치는 단계별 사고 과정이다. 복잡한 추론에 필수적이나, 입력 컨텍스트와 명확히 분리되지 않으면 모델이 이를 사용자의 지시사항으로 오해하는 원인이 된다. 이는 추론 모델의 신뢰성을 떨어뜨리는 주요 기술적 허점이다.

진자 템플릿(Jinja Template)

— LLM의 프롬프트 구조를 정의하는 템플릿 엔진이다. 사용자, 어시스턴트, 시스템 메시지의 경계를 구분하는 역할을 하며, 설정 오류 시 메시지 간 간섭이 발생할 수 있다. 로컬 서버 환경에서 모델의 역할을 규정하는 핵심 도구이다.

컨텍스트 오염(Context Pollution)

— 모델의 이전 출력이나 내부 추론 과정이 의도치 않게 다음 입력의 컨텍스트로 포함되어 성능을 저하시키는 현상이다. 이 사례에서는 모델이 자신의 생각을 사용자 입력으로 착각하는 극단적인 형태로 나타나 무한 루프를 유발했다.