LLM_InSight: 4계층 구조의 AI 분석 및 프롬프트 최적화 플랫폼

섹션별 상세

효율적인 분석을 위해 시스템을 4개의 논리적 계층으로 분리하여 운영합니다. Layer 0은 아이디어 구상, Layer 1은 실제 답변 생성, Layer 2는 프롬프트 개선, Layer 3은 결과물 평가를 담당하여 각 단계별로 최적화된 모델을 할당할 수 있습니다.

근거

LLM_InSight는 4계층(Layer 0~3) 분석 파이프라인을 통해 프롬프트를 최적화한다. — Features 섹션의 4-Layer AI Analysis System 표

목표 점수를 달성할 때까지 프롬프트를 자동으로 수정하는 반복 최적화 루프를 제공합니다. Layer 3에서 산출된 정확성, 명확성, 간결성 등의 점수가 기준 미달일 경우 Layer 2의 모델이 프롬프트를 다시 설계하여 상위 계층으로 피드백을 보냅니다.

로컬 실행 환경과 클라우드 API를 유연하게 통합하여 비용과 성능의 균형을 맞춥니다. Ollama를 통한 Gemma, Llama 등 로컬 모델 실행은 물론, Gemini 2.0 Flash나 Mistral AI의 최신 API를 연결하여 하이브리드 추론 환경을 구성할 수 있습니다.

근거

정확성, 명확성, 간결성, 창의성, 구조의 5가지 기준으로 답변을 평가한다. — Configuration 섹션의 Category Weights (config.py)

데이터의 영속성과 보안을 위해 모든 활동 내역을 로컬 파일 기반으로 관리합니다. API 호출 기록과 채점 결과는 ledger.jsonl에 저장되며, 최적의 답변은 별도 캐싱되어 반복적인 쿼리 수행 시 응답 속도를 높이고 비용을 절감합니다.

기술

Flask
Pydantic
Ollama
Gemini 2.0 Flash
Mistral AI
Gemma
Llama
Phi-4

활용 사례

자동 프롬프트 최적화 루프 구축
서로 다른 LLM 간의 A/B 테스트 및 비교 평가
로컬 환경에서의 LLM 추론 로그 및 이력 관리

언급된 리소스

GitHubLLM_InSight GitHub Repository