LLM의 숨겨진 가정을 드러내는 'Critical Unknowns' 프롬프트 패턴

실용적 조언

판단 중심의 과업에서 시스템 프롬프트 끝에 CRITICAL_UNKNOWNS 섹션 정의를 추가하여 사용하라.
모델이 모호하게 답변한다면 온도를 0.3 이하로 낮추고 구체적인 데이터 소스를 명시하라는 지침을 강화하라.
추출된 가정을 바탕으로 2차 검색(Retrieval)을 수행하거나 사용자에게 역질의하는 워크플로우를 구축하라.

섹션별 상세

모델이 답변을 생성한 후 외부에서 질문하는 방식은 효과가 낮다. 기존에는 분석 후 별도의 프롬프트로 필요한 데이터를 물었으나, 모델은 사용자의 의도를 파악하지 못해 모호한 답변만 내놓는 한계가 있었다. 이를 해결하기 위해 원래의 답변 구조 안에 데이터 공백에 대한 책임을 강제하는 섹션을 통합하는 방식을 도입했다.

text

After your analysis, output a CRITICAL_UNKNOWNS section with this exact structure:
CRITICAL_UNKNOWNS:
- What's missing: [specific data gap that would change your analysis if you had it]
Impact: [how your answer would change with that data]
My assumption instead: [what you assumed in its place, and why]
List 1–3 such unknowns. Be specific. Vague unknowns are useless — name the data, the source, the time period.

모델이 답변 생성 시 사용한 불확실한 가정과 데이터 공백을 강제로 출력하게 만드는 시스템 프롬프트 구조

구조화된 'CRITICAL_UNKNOWNS' 섹션은 모델이 스스로의 추측을 인정하게 만든다. 모델은 답변을 내기 위해 내부적으로 반드시 가정을 세워야 하므로, 이를 '결여된 데이터', '영향력', '대체된 가정'이라는 세 가지 필드로 출력하게 한다. 이 과정에서 모델은 단순한 모호함을 넘어 특정 시기나 소스 등 구체적인 데이터 수치를 언급하며 자신의 논리적 취약점을 드러낸다.

Impact 필드는 정보의 우선순위를 강제로 설정하게 한다. 모든 정보 공백이 중요한 것은 아니므로, 해당 데이터가 확보되었을 때 결론이 어떻게 뒤집힐 수 있는지를 기술하게 함으로써 '알면 좋은 정보'와 '결론을 바꾸는 핵심 정보'를 구분한다. 이는 이후 검색 시스템(RAG)이나 사용자 추가 질의의 효율성을 극대화하는 근거가 된다.

모델의 성능에 따라 적용 방식에 차이가 존재한다. GPT-4급 미만의 하위 모델들은 구조를 강제해도 여전히 모호한 답변을 내놓는 경향이 있어, 온도를 0.3으로 낮추고 프롬프트 내에 '나쁜 예시'와 '좋은 예시'를 명시적으로 포함하는 보정 작업이 필요하다. 또한 정답이 정해진 지식 검색보다는 전략, 진단, 우선순위 설정 등 판단이 필요한 과업에서 가장 큰 효과를 발휘한다.

용어 해설

다중 모델 심의(Multi-model Deliberation): — 동일한 질문을 여러 최첨단 모델에 실행하고 그 답변들을 조정 및 통합하는 프로세스입니다. 개별 모델의 편향을 줄이고 더 객관적인 결론을 도출하기 위해 사용되지만, 모델들이 잘못된 전제 위에서 확신에 찬 답변을 내놓을 경우 토큰 낭비가 발생할 수 있습니다.
핵심 미지 요소(Critical Unknowns): — 모델이 답변을 생성할 때 부족했던 구체적인 데이터나 정보를 명시적으로 드러내는 프롬프트 기법입니다. 데이터 공백, 그 공백이 결과에 미치는 영향, 그리고 대신 사용된 가정을 구조화하여 출력함으로써 모델의 판단 근거를 투명하게 만듭니다.
잠입된 사전 가정(Smuggled Priors): — 모델이 명시적인 데이터 없이 답변을 생성하는 과정에서 무의식적으로 반영하는 내부적인 가정이나 편향을 의미합니다. 이를 명시적으로 드러내지 않으면 사용자는 모델의 분석이 어떤 불확실한 전제 위에 구축되었는지 파악하기 어렵습니다.

언급된 도구

GPT-4추천

프롬프트 패턴이 효과적으로 작동하는 기준 모델