시스템 프롬프트 '/think' 추가를 통한 LLM 추론 프로세스 활성화 및 파싱 오류 해결 방법

실용적 조언

추론 과정이 나타나지 않는 경우 시스템 프롬프트 맨 앞에 '/think'를 추가하여 테스트할 것
파싱 오류 발생 시 시작 문자열을 'thought'으로 설정하여 비표준 파이프 기호 문제를 우회할 것

섹션별 상세

시스템 프롬프트에 '/think' 문자열을 추가하면 모델의 내부 추론 프로세스가 활성화된다. 입력 텍스트의 최상단에 특정 명령어를 배치하여 모델이 즉각적인 답변 대신 단계별 사고 과정을 출력하도록 강제하는 방식이다. 26B 및 31B 모델 버전에서 해당 트리거가 정상 작동함이 검증됐다. 이는 추론 기능이 포함된 모델의 성능을 극대화하는 실무적인 접근법이다.

추론 태그 내부에 비표준적으로 배치된 파이프(|) 기호가 LLM의 파싱 실패를 유발한다. 시작 문자열(Start String)을 'thought'으로 지정하고 종료 문자열(End String)을 빈 값으로 설정하여 파서의 인식 범위를 조정한다. 이러한 설정 변경을 통해 깨진 태그 구조에서도 사고 과정 섹션을 정확하게 분리해낼 수 있다. 파싱 로직의 유연한 설정이 모델 출력의 가독성을 결정하는 핵심 요인이다.

작성자는 추론 트리거와 파싱 최적화 로직이 포함된 커스텀 Jinja 템플릿을 제작하여 공유했다. Jinja 템플릿은 모델에 전달되는 원시 텍스트의 구조를 정의하며, '/think' 삽입과 태그 처리를 자동화한다. 제공된 외부 링크의 템플릿을 적용하면 수동 설정의 번거로움 없이 안정적인 추론 모드 구현이 가능하다.

용어 해설

시스템 프롬프트(System Prompt): — 시스템 프롬프트는 LLM의 동작 방식과 페르소나를 설정하는 최상위 지침이다. 이 아티클에서는 '/think'라는 특정 명령어를 삽입하여 모델이 일반 응답 모드에서 추론 모드로 전환되도록 유도하는 역할을 한다. 프롬프트 엔지니어링의 핵심 요소로서 모델의 출력 품질을 결정짓는 중요한 변수이다.
Jinja 템플릿(Jinja Template): — Jinja 템플릿은 텍스트 데이터를 구조화하는 템플릿 엔진으로, LLM 분야에서는 메시지 형식을 모델이 이해할 수 있는 프로토콜로 변환하는 데 사용된다. 작성자는 사고 과정 태그를 올바르게 처리하기 위해 커스텀 템플릿을 제공했다. 복잡한 대화 흐름이나 특수 토큰을 제어하는 데 필수적인 도구이다.
추론 프로세스(Reasoning Process): — 추론 프로세스는 모델이 최종 답변을 내놓기 전 단계별로 사고하는 과정으로, 복잡한 논리 문제를 해결할 때 정확도를 높여준다. 특정 모델에서는 이 과정이 태그로 구분되어 출력되며, 이를 올바르게 트리거하고 파싱하는 것이 고성능 응답을 얻는 데 중요하다. 모델의 지능을 실질적으로 활용하기 위한 핵심 메커니즘이다.

언급된 도구

Jinja추천

LLM 메시지 포맷팅 및 추론 태그 처리

언급된 리소스

문서Jinja template for triggering reasoning