LLM InSights: 로컬 기반 LLM 테스트 및 프롬프트 최적화 도구

LLM InSights는 로컬 환경에서 LLM의 성능을 테스트하고 프롬프트를 최적화하는 오픈소스 프레임워크이다. Ollama를 활용한 로컬 추론과 클라우드 API 연동을 지원하며, 다중 모델 A/B 테스트와 루브릭 기반의 다차원 평가를 수행한다. 평가 결과를 바탕으로 프롬프트를 자동으로 재작성하는 반복 루프를 통해 최적의 결과를 도출한다. 모든 실행 과정은 구조화된 데이터로 기록되어 합성 데이터 생성 및 품질 벤치마크로 활용 가능하다.