Aludel: LLM 평가 및 비교를 위한 오픈소스 워크벤치

섹션별 상세

동일한 프롬프트를 여러 LLM 제공자에게 동시에 실행하여 출력 품질과 지연 시간을 실시간으로 비교한다. OpenAI, Anthropic 같은 클라우드 API뿐만 아니라 Ollama를 통한 로컬 모델 실행도 지원하여 보안과 비용을 고려한 테스트가 가능하다. 각 실행마다 토큰 사용량과 예상 비용이 계산되어 대시보드에 즉시 표시된다.

Aludel의 메인 대시보드 스크린샷 — Screenshot전체 실행 횟수, 성공률, 평균 지연 시간, 총 비용 등 핵심 지표를 상단에 표시한다. 하단에는 GPT-4o, Claude, Llama 2 등 각 모델별 성능 비교 표와 최근 평가 내역이 나열되어 실시간 모니터링 환경을 보여준다.

프롬프트 템플릿에 변수 삽입 기능을 지원하며 모든 수정 사항을 불변 버전으로 관리한다. 프롬프트가 수정될 때마다 새로운 버전이 생성되므로 시간에 따른 성능 변화와 통과율 추이를 시각적으로 확인할 수 있다. 태그와 설명을 추가하여 수많은 프롬프트 실험을 체계적으로 분류하고 관리한다.

문서 첨부 기능이 포함된 시각적 테스트 케이스 에디터를 통해 자동화된 평가 스위트를 구축한다. PDF, 이미지, CSV 등 다양한 파일을 테스트 케이스에 연결하고 정규표현식이나 JSON 필드 일치 여부를 검증하는 Assertion을 설정한다. 이를 통해 모델 업데이트나 프롬프트 변경 시 발생할 수 있는 회귀 오류를 사전에 차단한다.

Elixir 및 Phoenix LiveView 환경에 라이브러리 형태로 직접 임베딩하거나 독립형 애플리케이션으로 배포할 수 있다. 간단한 마이그레이션 실행과 라우터 설정만으로 기존 프로젝트에 대시보드를 추가할 수 있는 높은 확장성을 제공한다. 로컬 개발 환경에서는 별도의 API 키 없이도 Ollama를 활용한 즉각적인 테스트가 가능하다.

기술

Elixir
Phoenix LiveView
Ollama
OpenAI API
Anthropic API
Tailwind CSS
ImageMagick

활용 사례

LLM 모델 간 응답 품질 및 비용 비교
프롬프트 버전 관리 및 성능 추적
자동화된 LLM 회귀 테스트 구축
로컬 LLM 성능 벤치마킹

언급된 리소스

GitHubAludel GitHub Repository

문서Ollama Official Site