LLM InSights: 로컬 기반 LLM 테스트 및 프롬프트 최적화 도구

섹션별 상세

반복적 프롬프트 최적화 루프: 시스템은 0단계(브레인스토밍)부터 3단계(평가)까지의 파이프라인을 반복하며, 평가자의 피드백을 활용해 프롬프트를 자동으로 재작성한다.

다중 모델 A/B 테스트: 서로 다른 모델을 각 응답 슬롯에 할당하여 동일한 프롬프트에 대한 성능을 실시간으로 비교하고 분석한다.

사용자 정의 평가 루브릭: 최대 8개의 평가 카테고리를 설정하고, 각 카테고리별로 전용 평가 모델과 가중치를 부여하여 정밀한 품질 측정이 가능하다.

Preference Studio를 통한 인간 피드백: 인간이 직접 응답 쌍을 평가하고 정답을 작성하여 평가 모델을 보정(Calibration)하며, 이를 통해 학습용 데이터셋을 구축한다.

로컬 우선의 유연한 인프라: Ollama를 통한 로컬 추론을 기본으로 하며, 필요에 따라 Mistral이나 Google Gemini와 같은 클라우드 API를 혼합하여 사용할 수 있다.

프롬프트 최적화(Prompt Optimization): — 평가 모델의 피드백과 가중치를 활용하여 프롬프트를 반복적으로 재작성함으로써, 특정 작업에 가장 적합한 결과를 도출하도록 프롬프트를 개선하는 과정이다.
합성 데이터(Synthetic Data): — AI 모델이 생성한 프롬프트와 응답 쌍을 구조화하여 기록한 데이터로, 실제 사람이 작성한 데이터 대신 모델 학습이나 평가용 데이터셋으로 활용된다.
인간 개입 학습(Human-in-the-Loop): — AI 시스템의 판단 과정에 인간이 직접 개입하여 평가하거나 정답을 제공함으로써, 모델의 성능을 보정하고 정렬(Alignment)을 강화하는 방식이다.

text

APP_USER=admin
APP_PASS=changeme
FLASK_SECRET=changeme

LLM InSights 실행을 위한 최소한의 환경 변수 설정 예시