LLM InSights: 로컬 기반 LLM 테스트 및 프롬프트 최적화 도구

섹션별 상세

반복적 최적화 파이프라인은 브레인스토밍, 답변 생성, 평가, 프롬프트 재작성으로 이어지는 루프를 통해 최적의 응답을 생성한다.

루브릭 기반 다차원 평가는 정확성, 창의성 등 최대 8개 카테고리에 대해 개별 모델이 평가를 수행하며, 가중치를 적용하여 종합 점수를 산출한다.

근거

루브릭 기반 평가 시스템을 통해 최대 8개 카테고리에 대한 다차원 평가가 가능하다. — Key Capabilities - Custom Grading Rubrics 섹션

로컬 우선 실행 환경은 Ollama를 기본 추론 엔진으로 사용하여 데이터 유출 없이 로컬 머신에서 모든 파이프라인을 실행한다.

근거

상세 분석 및 시각화 기능은 웹 UI를 통해 과거 실행 기록을 불러오고, 레이더 차트와 막대 그래프로 모델 간 성능 비교 및 토큰 사용량을 분석한다.

로컬 우선(Local-first): — 데이터가 외부 서버로 전송되지 않고 사용자의 로컬 환경에서 생성, 저장, 처리되는 소프트웨어 아키텍처이다. 데이터 주권과 보안을 보장하며 네트워크 연결 없이도 독립적인 실행이 가능하다.
루브릭 기반 평가(Rubric-based Grading): — 미리 정의된 평가 기준표(루브릭)를 사용하여 AI 모델의 응답 품질을 다차원적으로 점수화하는 기법이다. 각 카테고리별로 구체적인 채점 기준을 설정하여 정성적인 답변을 정량적인 지표로 변환한다.
A/B 테스트(A/B Testing): — 두 가지 이상의 모델이나 프롬프트를 동일한 입력에 대해 실행하여 성능을 비교하는 방식이다. LLM 환경에서는 응답의 품질, 토큰 효율성, 추론 속도 등을 기준으로 최적의 설정을 선택하는 데 사용된다.

text

APP_USER=admin
APP_PASS=changeme
FLASK_SECRET=changeme

LLM InSights 실행을 위한 최소 필수 환경 변수 설정 예시