GPT가 직접 제안한 답변의 진실성을 높이는 프롬프트 최적화 공식

GPT가 스스로 자신의 메커니즘을 설명하며 최적화 방안을 제시했다는 점에 대해 흥미롭다는 반응이 주를 이루고 있습니다.

• 프롬프트 상단에 'Goal: maximize factual accuracy over helpfulness or fluency'를 명시하여 모델의 우선순위를 강제하세요.
• 모델에게 답변 전 '이 답변이 맞기 위해 필요한 조건'을 먼저 리스트업하게 하세요.
• 불확실한 질문에는 답변 대신 질문을 하도록 'Clarifying questions' 규칙을 추가하세요.

Ground Truth

— 모델이 학습하거나 평가할 때 기준으로 삼는 실제 정답 데이터를 의미한다. LLM은 실시간 외부 정보 접근 없이는 완벽한 지면 진리에 도달하기 어려우며, 이를 인지하는 것이 모델의 신뢰성 확보에 중요하다.

Reward Signal

— 강화학습 과정에서 모델의 출력이 목표에 부합하는지 평가하여 전달하는 피드백 지표이다. 모델이 훈련 중에 학습한 보상 신호를 오해할 경우, 사실 관계보다 유창함이나 도움을 주려는 태도를 우선시하는 편향이 발생할 수 있다.

Scoring Function

— 모델이 특정 출력을 생성할 때 각 토큰이나 문장의 적합도를 계산하는 메커니즘이다. 프롬프트를 통해 로컬 점수 함수를 조정함으로써 모델이 유창함 대신 사실적 정확성에 더 높은 가중치를 두도록 유도할 수 있다.