GEPA: 오픈소스 모델의 성능을 90배 저렴하게 끌어올리는 프롬프트 최적화 프레임워크

실용적 조언

정확도와 비용이 중요한 핵심 LLM 태스크에 우선적으로 GEPA를 적용하여 비용 절감 효과를 검증할 것.
최적화 루프에 충분한 신호를 줄 수 있도록 고품질의 라벨링 예시 데이터를 확보하는 데 집중할 것.

섹션별 상세

GEPA는 시드 프롬프트와 소량의 라벨링 데이터를 입력받아 최적의 프롬프트를 찾아내는 검색 알고리즘이다. 타겟 모델이 결과를 생성하면 이를 LLM Judge나 목적 함수로 평가하고, 더 강력한 Reflection 모델이 개선안을 제안하는 루프를 반복한다. 이 과정은 설정된 예산 내에서 프롬프트의 정확도를 점진적으로 향상시킨다. 수동 프롬프트 엔지니어링의 한계를 데이터 기반의 자동화된 접근법으로 해결한다.

optimize_anything 기능은 프롬프트뿐만 아니라 텍스트로 표현되는 모든 워크플로우를 최적화 대상으로 삼는다. 평가 모델이 생성한 진단 정보를 Reflection 모델에 전달하는 Actionable Side Information 기술을 통해 개선 방향을 정밀하게 제어한다. 단순한 점수 산출을 넘어 구체적인 수정 가이드를 제공함으로써 최적화 효율을 높인다. 이는 LLM 시스템 구축 시 발생하는 시행착오를 획기적으로 줄여주는 장치이다.

기술적 우수성에도 불구하고 라벨링 데이터 확보와 LLM Judge 설계의 난이도가 실제 도입의 주요 장애물로 지목됐다. 최적화 루프가 제대로 작동하려면 모델에 명확한 피드백을 줄 수 있는 고품질의 예시 데이터가 필수적이다. 또한 평가 기준이 주관적인 에이전트 워크플로우에서는 LLM Judge 자체를 최적화해야 하는 복잡한 상황이 발생한다. 따라서 성능 측정이 명확한 고부하 작업에서 가장 큰 비용 절감 효과를 기대할 수 있다.

용어 해설

프롬프트 최적화(Prompt Optimization): — LLM의 응답 품질을 높이기 위해 입력 프롬프트를 자동으로 수정하고 개선하는 기술이다. 수동으로 문구를 고치는 대신 알고리즘을 통해 최적의 단어 조합을 찾아내며, 모델의 정확도를 높이고 비용을 절감하는 데 핵심적인 역할을 한다.
LLM 판별기(LLM Judge): — 다른 AI 모델의 출력 결과를 평가하기 위해 사용하는 고성능 언어 모델이다. 사람이 직접 채점하는 대신 정해진 기준에 따라 응답의 정확성, 유해성, 논리성 등을 수치화하여 최적화 루프에 피드백을 제공한다.
반성 모델(Reflection Model): — 최적화 과정에서 평가 결과를 분석하고 더 나은 프롬프트 대안을 제안하는 역할을 수행하는 모델이다. 주로 타겟 모델보다 성능이 뛰어난 상위 모델을 사용하여, 실패 원인을 파악하고 논리적인 개선 방향을 도출한다.
목적 함수(Objective Function): — 최적화 알고리즘이 달성하고자 하는 목표를 수학적으로 정의한 식이다. 프롬프트 최적화에서는 데이터셋에 대한 정확도나 특정 품질 지표를 점수화하여, 어떤 프롬프트가 더 우수한지 판단하는 기준이 된다.
실행 가능한 부가 정보(Actionable Side Information): — 단순한 성공/실패 여부를 넘어 모델이 왜 잘못된 결과를 냈는지에 대한 구체적인 진단 정보를 의미한다. 이 정보를 Reflection 모델에 전달함으로써 프롬프트를 어떻게 수정해야 할지 명확한 가이드를 제공하여 최적화 효율을 높인다.

언급된 도구

GEPA추천

오픈소스 프롬프트 최적화 프레임워크

DSPy추천

GEPA를 옵티마이저로 활용 가능한 LLM 프로그래밍 프레임워크

언급된 리소스

DemoSutro.sh