120개 프롬프트 패턴 A/B 테스트 결과: 무엇이 효과적이고 무엇이 플라세보인가?

대체로 긍정적이며, 많은 사용자가 유사한 경험을 공유했습니다.

• 추론 성능 향상이 필요할 때는 Explicit decomposition과 Adversarial self-review 패턴을 우선 적용한다.
• 모델의 성능이 높을수록 프롬프트 엔지니어링을 통한 추가 이득은 작아질 수 있음을 고려한다.

• 프롬프트 패턴을 출력 형식 변경과 추론 과정 개선으로 구분하여 목적에 맞게 사용해야 한다.
• Think step by step 등 과거의 유명 패턴은 최신 frontier 모델에서 플라세보 효과에 그칠 가능성이 높다.
• 문제를 하위 질문으로 분해하거나 답변 후 스스로 결함을 검토하게 하는 구체적인 지시가 추론 성능 향상에 가장 효과적이다.
• 프롬프트 엔지니어링의 성능 향상 폭은 모델의 기본 추론 능력에 반비례하며, 중간 티어 모델에서 더 큰 효과를 기대할 수 있다.