Gemma 31B 모델을 활용한 52가지 페르소나 프롬프팅 성능 비교 연구

실용적 조언

복잡한 작업을 지시할 때는 전문가 역할을 부여하기보다 단계별 수정 프로세스를 프롬프트에 포함하라.
소형 모델을 사용할 때는 시스템 프롬프트의 형식을 너무 복잡하게 만들지 마라.

섹션별 상세

Gemma 31B 모델을 통해 52개의 페르소나를 8개 그룹으로 나누어 총 156회의 HTML 생성 실험을 진행했다. 실험의 변별력을 높이기 위해 성능이 너무 뛰어난 모델 대신 적당한 성능의 모델을 선택하여 페르소나에 따른 품질 차이를 극대화했다. 평가는 Claude Opus 4.7 서브에이전트들이 블라인드 테스트 방식으로 6개 축의 리커트 척도를 사용하여 수행했다.

실험 결과 초안 작성 후 비판과 수정을 거치는 메타 프롬프트 방식이 7.70점으로 가장 높은 점수를 기록했다. 이는 디자인 원칙이나 구체적인 가이드를 제공하는 것보다 모델 스스로 논리적 단계를 밟게 하는 것이 결과물 품질 향상에 더 효과적임을 시사한다. 특히 디자인 가이드를 상세히 제공한 그룹은 오히려 아무것도 제공하지 않은 베이스라인보다 낮은 점수를 받았다.

전통적인 역할 부여 방식 중에서는 Apple의 CPO나 Stripe의 디자인 부사장 같은 고위직 페르소나가 높은 성과를 냈다. 특히 Stripe 디자인 부사장 페르소나는 최고점인 8.54점을 기록하며 특정 전문가의 관점이 창의적 작업에 긍정적인 영향을 줄 수 있음을 입증했다. 반면 프롬프트의 길이가 길다고 해서 반드시 품질이 향상되지는 않는다는 상관관계도 확인됐다.

형식이 지나치게 복잡한 시스템 프롬프트는 모델의 성능을 급격히 저하시키는 불안정성을 보였다. OpenAI 스타일의 시스템 프롬프트는 동일한 조건에서도 샘플 간 점수 편차가 매우 크게 나타나며 모델이 지시사항에 고착되거나 엉뚱한 결과를 내놓는 현상이 관찰됐다. 이는 소형 모델일수록 구조화된 프롬프트의 복잡성이 독이 될 수 있음을 의미한다.

용어 해설

페르소나 프롬프팅(Persona Prompting): — AI에게 특정 역할이나 성격을 부여하여 응답의 톤과 품질을 조절하는 기법이다. 모델이 특정 전문가의 관점에서 사고하도록 유도하여 결과물의 전문성을 높이는 데 사용된다.
시스템 프롬프트(System Prompt): — 사용자의 개별 질문 이전에 AI 모델의 행동 지침과 제약 사항을 정의하는 최상위 명령문이다. 모델의 전반적인 정체성과 응답 규칙을 설정하는 핵심 메커니즘이다.
생각의 사슬(Chain-of-Thought): — AI가 복잡한 문제에 답하기 전 단계별 추론 과정을 거치도록 유도하는 기법이다. 논리적 오류를 줄이고 결과물의 품질을 높이는 데 결정적인 역할을 한다.
리커트 루브릭(Likert Rubric): — 정성적인 평가 대상을 수치화하기 위해 사용하는 척도 기반의 평가 기준이다. 본 실험에서는 AI의 응답 품질을 다각도로 측정하기 위해 사용되었다.

언급된 도구

OpenRouter중립

Gemma 31B 모델 추론 및 API 제공

Claude Opus추천

생성된 HTML 결과물에 대한 블라인드 평가 수행

언급된 리소스

문서Persona Impact Research Study