GEPA와 DSPy를 이용한 프롬프트 자동 최적화 구현

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

GEPA의 Reflective Prompt Mutation과 DSPy 기반 자동 최적화는 프롬프트 후보를 자동으로 진화시키고 Pareto Front로 다축 최적화를 수행하여 LLM 프롬프트 튜닝의 비용과 시간을 크게 줄이고 정책 준수와 품질을 함께 개선한다.

핵심 흐름은 다수의 프롬프트 후보를 생성하고, 각 후보의 실행 결과를 자연어로 반성한 뒤, 다축 평가에서 높은 점수를 얻은 후보를 선택하고 새로운 후보를 생성하는 순환이다. 이 과정은 ICLR 2026에서 기존 방법 대비 정확도가 향상되었다는 근거를 제시하며, DSPy 위에서 모듈 단위로 구현된다. 결과적으로 자동화된 프롬프트 최적화가 인간의 수작업 의존도를 크게 낮추고 프로덕션 품질 관리에 소요되는 시간을 단축한다.

향후에는 이 접근을 건강의료 외 다른 서비스 영역으로 확장해 정책 준수와 품질 유지의 자동화를 지속적으로 강화하려는 비전을 제시한다. 다만 프롬프트 길이 증가로 인한 비용 증가나 도메인별 판단 필요성 등 여지가 남아 있어 현장의 운영 방식과 트레이드오프를 함께 고려해야 한다.

섹션별 상세

프롬프트 튜닝은 반복적이고 지식이 특정 인물에 편중되는 경향이 있어 생산성이 떨어진다. GEPA는 다수의 후보 프롬프트를 자동으로 생성한 뒤 평가 점수에 따라 Pareto Front를 구성하고 반성적 프롬프트 변이를 통해 개선한다. 이 과정을 수십 세대에 걸쳐 실행하면 인간의 수작업 없이도 목표를 달성하는 방향으로 수렴하는 것으로 보고된다. 이로써 프롬프트 튜닝의 속도와 품질을 함께 끌어올리는 것이 가능해진다.

GEPA는 RL 기반 보상만으로는 한계가 많고, 언어의 이산 구조로 인해 진화 알고리즘의 탐색이 효과적이라는 점에서 차별화된다. 다수의 후보를 탐색하고 Pareto Front로 다양한 목표를 동시에 최적화하는 방식이 핵심이다.

python

import dspy
class TaskSignature(dspy.Signature):
    """You are a capable assistant. Please answer the user's questions politely."""
    input = dspy.InputField(desc="Input text")
    output = dspy.OutputField(desc="Generated text")
class MyModule(dspy.Module):
    def __init__(self):
        super().__init__()
        self.predict = dspy.Predict(TaskSignature)
    def forward(self, input: str) -> dspy.Prediction:
        return self.predict(input=input)

GEPA의 프롬프트 최적화 파이프라인에서 평가 함수를 연결하는 예시 코드

GEPA 파이프라인의 주요 구성요소를 시각적으로 보여주는 다이어그램으로, 프롬프트 후보 생성·평가·반성적 변이의 흐름을 한 눈에 확인할 수 있다. — DiagramGEPA의 파이프라인 흐름을 시각화한 다이어그램으로, 후보 프롬프트의 생성–평가–개선 루프가 반복되는 구조를 명확히 전달한다.

최적화 전/후 결과를 비교하는 대시보드 형식의 이미지로 성능 변화와 품질 향상의 시각화를 제공합니다. — Diagram프롬프트 최적화 전후의 차이를 보여주는 비교 이미지로, 정확도 및 품질 개선의 직관적 증거를 제공한다.

근거

Reflective Prompt Mutation을 통해 프롬프트를 반복적으로 개선한다. — GEPA의 pipeline 및 Implementation with DSPy and GEPA 설명 출처
Pareto Front를 이용한 다축 평가로 다양한 목표에서 균형 있는 성능을 유지한다. — 두 축 이상 평가에서 Pareto 기반 선택 언급 출처

GEPA의 구현은 DSPy 위에서 모듈 정의와 평가 함수를 연결하고, 출력에 대한 자연어 피드백을 반영하는 Reflective Prompt Mutation를 통해 개선 제안을 생성하는 루프로 구성된다. 평가 함수는 단일 스칼라 값을 반환하도록 설계되며, 다축 평가의 통합 점수를 통해 후보를 정렬한다.

Yahoo! JAPAN Search의 헬스케어 질의에 GEPA를 적용한 결과 정책 준수와 읽기 편의성 측면에서 큰 개선이 확인되었고, 최적화 시간은 수일에서 약 1시간으로 단축되었다. 이로 인해 프로덕션에서의 반복 실험 부담이 크게 감소하고 평가 설계 및 정책 개발에 더 많은 자원을 집중할 수 있다.

건강의료 도메인 평가 점수의 추이를 나타내는 차트 이미지로 자동 최적화의 정책 준수 및 품질 개선 효과를 시각화합니다. — Chart건강 의료 질의에서의 평가 점수(정책 준수 및 품질)의 향상 추이를 그래프 형태로 제시하여 자동 최적화의 실효성을 뒷받침한다.

근거

Yahoo! JAPAN Search health queries의 최적화 결과 정책 준수율이 거의 100%에 달했다. — Results 섹션의 정책 준수 문구 출처

향후 GEPA와 DSPy의 플랫폼화를 통해 프롬프트 자동 최적화를 다른 서비스 영역으로 확장하고, 자동화 수준을 점진적으로 높여 인간의 개입 없이도 품질 유지 및 개선을 달성하는 방향을 제시한다.

용어 해설

GEPA: — GEPA는 Reflective Prompt Mutation을 통해 프롬프트를 진화시키고 Pareto Front를 활용해 다축 평가에서 균형 잡힌 최적 해를 찾는 자동 프롬프트 최적화 기법이다.
반성적 프롬프트 변이(Reflective Prompt Mutation): — 후보 프롬프트의 출력에 대해 LLM이 직접 피드백을 제공하도록 하는 기법으로, 피드백을 바탕으로 프롬프트를 점진적으로 개선한다.
파레토 프런트(Pareto Front): — 다양한 평가 축에서의 성능을 동시에 고려해 서로 양립하기 어려운 목표를 균형 있게 해결하는 후보 해의 집합으로 사용된다.
DSPy: — GEPA를 구현하고 프롬프트 최적화를 코드로 제어하는 프레임워크로, 모듈 정의와 평가 함수 구성을 지원한다.

기술

DSPy
GEPA
Python
LangChain

활용 사례

LLM 프롬프트 튜닝 자동화
정책 준수 및 품질 관리가 중요한 대화형 AI 서비스

언급된 리소스

논문GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning

DemoTech-Verse 2026