프롬프트에 영어 지침 대신 수학 기호를 사용했더니 LLM이 실제로 이를 따릅니다

커뮤니티 반응

작성자의 참신한 접근 방식에 대해 긍정적인 반응이 많으며, RAG 시스템의 신뢰도 제어 문제에 대한 실질적인 해결책으로 주목받고 있다.

주요 논점

01찬성다수

수학적 표기법이 자연어보다 모델의 논리적 추론을 더 잘 유도하며 실무 RAG 시스템에 즉시 적용 가능하다.

합의점 vs 논쟁점

합의점

LLM은 텍스트의 어조나 형식에 쉽게 현혹되는 경향이 있다.
수학적 함수를 프롬프트에 포함하는 것이 모델의 행동을 제어하는 데 효과적이다.

실용적 조언

RAG 시스템 구축 시 소스 문서의 신뢰도에 따라 수치 가중치를 부여하고 이를 비교하는 함수를 프롬프트에 포함하라.
모델이 답변 전 가중치 계산 과정을 먼저 출력하도록 유도하여 논리적 오류를 방지하라.

섹션별 상세

LLM이 정보가 충돌하는 여러 문서를 처리할 때, 내용의 정확성보다 '이사회 승인'과 같은 확신에 찬 어조나 세련된 형식에 휘둘리는 의미론적 편향 문제가 발생했다. 작성자는 이를 해결하기 위해 자연어 지침 대신 수학적 표기법을 프롬프트에 도입하는 실험을 설계했다.

각 문서에 A(D3) = 0.95와 같은 수치적 권위 점수를 할당하고, 두 문서의 점수 차이가 0.3보다 크면 낮은 점수의 문서를 폐기하라는 수학적 함수를 프롬프트에 명시했다. 모델은 입력된 가중치와 함수를 논리적 규칙으로 인식하여 정보를 처리했다.

text

A(D3) = 0.95, A(D5) = 0.40
if A(Di) - A(Dj) > 0.3 -> discard Dj

프롬프트에 주입된 문서별 권위 점수 할당 및 충돌 해결 로직 예시

가중치 없이 자연어 지침만 사용했을 때는 모델이 매번 확신에 찬 오답을 선택했으나, 수학적 표기법을 적용한 Claude Sonnet 테스트에서는 6/6의 정답률을 기록했다. 모델은 단순히 규칙을 따르는 것을 넘어 추론 과정에서 직접 델타 값을 계산하여 논리적 근거를 제시했다.

text

D3 - D5 = 0.55 > 0.30 -> D5 discarded

모델이 추론 과정(CoT)에서 실제로 수행한 수학적 계산 예시

이 기법은 RAG 시스템에서 소스별 신뢰도가 다를 때 발생할 수 있는 데이터 오염이나 정보 충돌 문제를 해결하는 단순하고 효과적인 방법이다. 복잡한 자연어 설명보다 수학적 기호가 모델의 의사결정 프로세스를 더 엄격하게 제어할 수 있음이 확인됐다.

용어 해설

의미론적 편향(Semantic Bias): — LLM이 논리적 근거보다 텍스트의 어조, 자신감, 세련된 형식 등 표면적인 특징에 영향을 받아 판단을 내리는 현상이다. 이 실험에서는 확신에 찬 말투의 오답 문서를 정답보다 선호하는 문제로 나타났다.
권위 가중치(Authority Weight): — 여러 정보 소스가 존재할 때 각 소스의 신뢰도를 수치화하여 부여한 값이다. 정보 간 충돌이 발생할 경우 어떤 소스를 우선시할지 결정하는 객관적인 지표로 활용된다.
충돌 해결 함수(Conflict Resolution Function): — 서로 모순되는 데이터가 입력되었을 때 특정 조건에 따라 어떤 데이터를 채택하거나 폐기할지 결정하는 논리적 규칙이다. 프롬프트 내에서 수학적 조건문 형태로 구현되어 모델의 의사결정을 제어한다.

언급된 도구

Claude추천

실험 설계 및 테스트 수행을 위한 사고 파트너 및 추론 모델

언급된 리소스

문서Numerical Authority Weights Override Semantic Bias in Multi-Document LLM Prompts

GitHubAuthority Weights LLM Repository