Opik 2월 업데이트: Optimization Studio 출시 및 대시보드 강화

섹션별 상세

01

Optimization Studio는 Opik UI 내에서 프롬프트를 직접 수정하고 정의된 평가 기준에 따라 구조화된 최적화 실험을 실행할 수 있는 환경을 제공한다. 단일 턴 프롬프트 개선을 위한 GEPA와 실패 원인 분석을 위한 HRPO 전략을 선택하여 적용할 수 있으며, 실행 과정에서의 성능 트렌드를 모니터링하고 결과물을 나란히 비교하여 개선 여부를 판단한다.

Opik의 Optimization Studio 실행 화면 — Screenshot프롬프트 최적화 진행 상황을 보여주는 그래프와 로그, 그리고 개선된 프롬프트의 점수 변화(0.53에서 0.69로 32% 향상)를 시각적으로 보여준다. 하단에는 실제 적용된 시스템 프롬프트 내용이 표시된다.

02

커스텀 대시보드에는 실험 성능을 한눈에 비교할 수 있는 리더보드 위젯, 모델·데이터셋·버전별 지표 분석 위젯, 그리고 개별 단계가 전체 결과에 미치는 영향을 시각화하는 Span-Level 지표 차트가 추가되었다. 이를 통해 사용자는 상위 성능의 설정을 빠르게 식별하고 워크플로우의 세부적인 동작을 분석할 수 있다.

피드백 점수 분포 및 실험 리더보드 화면 — Chart레이더 차트와 바 차트를 통해 윤리적 정렬, 진단 피드백 등 다양한 지표를 비교하고 있으며, 하단 리더보드에서 각 프롬프트 버전별 데이터셋, 생성 시간, 평균 점수를 순위별로 확인할 수 있음을 보여준다.

03

SDK 업데이트를 통해 Python 및 TypeScript 환경에서 어노테이션 큐를 프로그래밍 방식으로 관리할 수 있게 되었으며, 데이터셋 버전 관리 기능을 통해 데이터 변경이 결과에 미치는 영향을 추적할 수 있다. TypeScript에서는 SQL과 유사한 Opik Query Language를 사용하여 프롬프트와 트레이스를 정밀하게 검색할 수 있는 인터페이스를 제공한다.

04

LLM 제공업체 및 통합 지원이 확대되어 Ollama의 로컬/원격 인스턴스 자동 감지 및 지원이 추가되었으며, Anthropic의 최신 모델과 OpenAI Sora, Google Veo의 비디오 생성 결과물을 직접 로깅하고 추적할 수 있게 되었다. 또한 LangChain 도구 설명이 스팬 내에 자동으로 캡처되어 에이전트의 도구 선택 과정을 명확하게 파악할 수 있다.

용어 해설

그래디언트 기반 평가 및 프롬프트 적응(GEPA): — Gradient-based Evaluation and Prompt Adaptation의 약자로, 단일 턴 프롬프트의 빠른 성능 향상을 위해 사용되는 최적화 전략이다. 모델의 피드백을 바탕으로 프롬프트를 반복적으로 수정하여 목표 지표에 도달하도록 돕는다.
계층적 강화 프롬프트 최적화(HRPO): — Hierarchical Reinforcement Prompt Optimization의 약자로, 프롬프트가 실패하는 근본적인 이유를 계층적으로 분석하여 개선하는 심화 최적화 기법이다. 단순한 수정을 넘어 복잡한 에이전트 워크플로우의 논리적 결함을 찾아내는 데 효과적이다.
어노테이션 큐(Annotation Queue): — 사람이 직접 데이터에 라벨을 달거나 AI의 응답을 평가하는 Human-in-the-loop 워크플로우를 관리하기 위한 대기열 시스템이다. 대규모 데이터셋의 품질 검수 과정을 체계적으로 할당하고 추적할 수 있게 한다.
스팬 레벨 지표(Span-Level Metrics): — 전체 추론 과정 중 특정 작업 단위(Span)에서 발생하는 지연 시간, 비용, 토큰 사용량 등을 개별적으로 측정하는 지표이다. 복잡한 체인이나 에이전트 시스템에서 어느 단계가 성능 저하를 일으키는지 정밀하게 진단할 수 있다.

기술

Opik
Python SDK
TypeScript SDK
Ollama
Claude
Sora
Veo
LangChain

활용 사례

프롬프트 성능 최적화
AI 에이전트 워크플로우 모니터링
비디오 생성 모델 출력물 관리
실험 결과 리더보드 구축

언급된 리소스

문서Opik Documentation