정신 건강 분류 사례 연구를 통해 본 프롬프트 엔지니어링의 중요성

실용적 조언

고위험군 분류 시 'Entrapment'와 같은 도메인 핵심 지표를 프롬프트에 명시적으로 정의하여 포함하라.
모델이 답을 내기 전 반드시 논리적 근거를 먼저 서술하도록 Chain-of-Thought 구조를 강제하라.

섹션별 상세

정신 건강 분류 작업에서 단순 제로샷 프롬프트는 매우 낮은 성능을 보였다. 연구진은 Reddit 게시물을 데이터셋으로 활용하여 자살 의도를 예측하는 실험을 진행했으며, 단순 질문 방식이 아닌 체계적인 아키텍처를 도입했을 때 정확도가 약 70% 상승함을 확인했다. 이는 의료나 법률 같은 고위험 분야에서 단순 프롬프트 사용이 위험할 수 있음을 시사한다.

성능 향상의 가장 결정적인 요인은 구체적인 맥락과 임상 용어의 제공이었다. 모델에게 단순히 분류하라고 지시하는 대신 'Entrapment(갇힌 느낌)'와 같은 핵심 임상 지표를 정의하고 설명하는 과정을 포함했다. 이러한 추가 정보 주입을 통해 모델이 일반적인 슬픔과 실제 위험 징후를 더 명확하게 구분하는 메커니즘이 작동했다.

퓨샷 예시와 단계별 추론 기법이 모델의 판단 오류를 크게 줄였다. 고위험 게시물과 단순한 감정 표출 게시물의 차이를 보여주는 3~5개의 구체적인 예시를 제공하여 모델의 변별력을 높였다. 또한 최종 라벨을 부여하기 전 논리적 근거를 먼저 설명하게 함으로써 직관에 의존한 오류를 방지하고 기술적 명세서와 같은 정교한 출력을 유도했다.

용어 해설

제로샷 프롬프팅(Zero-shot Prompting): — 모델에게 별도의 예시를 제공하지 않고 바로 작업을 수행하도록 지시하는 기법이다. 모델이 사전 학습된 지식만을 활용하여 답변을 생성하게 하며, 복잡한 도메인 지식이 필요한 작업에서는 정확도가 떨어지는 경향이 있다.
퓨샷 프롬프팅(Few-shot Prompting): — 프롬프트 내에 해결하려는 작업의 예시를 몇 개 포함하여 모델의 성능을 높이는 기법이다. 모델이 예시의 패턴과 형식을 학습하여 더 정확하고 일관된 결과를 출력하도록 유도하며, 특히 분류 작업에서 효과적이다.
단계별 추론(Step-by-Step Reasoning): — 모델이 최종 답변을 내기 전에 논리적인 사고 과정을 단계별로 서술하도록 유도하는 방식이다. 복잡한 논리 구조를 가진 문제에서 오류를 줄이고 판단의 근거를 명확히 하여 결과의 신뢰성을 높이는 역할을 한다.