TL;DR

Mellea는 타입 주석과 Pydantic 검증을 통해 LLM 호출의 출력을 구조화하고 요구조건 검증과 자동 재시도 및 샘플링 전략으로 실패를 탐지·복구하는 Python 라이브러리이다. @generative 데코레이터가 함수의 타입과 docstring을 프롬프트와 스키마로 변환해 생성 결과를 항상 정형화된 객체로 반환하며 거부 샘플링과 다수결 같은 전략으로 일관성을 높인다. 다중 백엔드 지원과 mify 및 MCP 호환성으로 기존 코드베이스와 오케스트레이션에 손쉽게 통합할 수 있으며 IBM Research에서 시작된 점이 초기 신뢰성의 근거가 된다.

주요 기능

• 타입 기반 LLM 호출로 변환한다. @generative 데코레이터가 함수의 타입 힌트와 docstring을 결합해 프롬프트와 출력 스키마를 자동으로 구성한다. 이 과정에서 Pydantic 검증이 적용되어 반환값이 선언된 타입을 만족하지 않으면 오류 검출과 후속 처리로 이어진다.
• 요구조건 검증과 자동 수리를 적용한다. 사용자가 자연어 요구조건을 붙이면 Mellea는 생성 결과를 해당 조건과 대조해 실패 시 재생성 또는 수리 절차를 통해 조건을 충족시키려 한다. 이 메커니즘은 silent failure를 줄이고 테스트 가능성을 높이는 목적을 가진다.
• 샘플링 전략을 교체해 안정성을 높인다. 거부 샘플링, 다수결 투표 등 여러 샘플링 기법을 매개변수로 전환해 여러 후보를 생성하고 집계하는 방식으로 단일 실패의 영향을 완화한다. 이로 인해 일관성 있는 출력이 확보되지만 호출 비용은 증가할 수 있다.
• 다중 백엔드를 지원해 유연하게 배포할 수 있다. README에 명시된 지원 대상에는 Ollama, OpenAI, HuggingFace, WatsonX, LiteLLM, Bedrock 등이 있어 다양한 추론 환경에 연결 가능하다. 백엔드 추상화를 통해 코드 변경을 최소화하고 실행 환경을 전환할 수 있다.
• 레거시 통합과 MCP 노출을 지원한다. mify로 기존 코드베이스에 Mellea를 간편히 삽입할 수 있고 MCP 호환 도구로 생성 프로그램을 외부 오케스트레이터에 노출할 수 있다. 이 기능은 기존 시스템과의 상호운용성과 재사용성을 높인다.

어떻게 동작하는가

함수의 타입 힌트와 docstring을 결합해 프롬프트와 출력 스키마를 자동 생성하고, 데코레이터로 감싼 함수 호출을 내부적으로 LLM API 호출로 치환한다. 생성된 결과는 Pydantic으로 검증되며 요구조건 불일치 시 지정된 샘플링 전략이나 재시도 루틴으로 자동 수리를 시도한다. 백엔드 추상화 계층을 통해 Ollama, OpenAI, HuggingFace 등 다양한 추론 제공자를 교체해 사용할 수 있다.

해결 문제

LLM 호출에서 발생하는 비결정적 출력과 테스트 불가능성으로 인해 파이프라인이 깨지는 문제가 존재한다. Mellea는 타입 주석 기반 스키마 강제와 Pydantic 검증으로 출력 형식을 보장하고 요구조건 검증과 자동 재시도로 실패를 탐지하고 복구해 예측 가능성을 높인다. 이를 통해 프롬프트나 에이전트의 취약성을 줄이고 자동화된 검증을 코드 수준에서 수행할 수 있다.

지금 주목받는 이유

GitHub에서 상대적으로 많은 스타와 활발한 토픽 표시가 있어 관심이 집중되고 있다. 여러 상용 및 오픈소스 추론 백엔드를 한 번에 지원해 실무적 적용성이 높은 점이 주목받는 요인이다. 또한 프로젝트가 IBM Research에서 시작된 점이 초기 신뢰성과 연구 기반의 설계를 보여준다.

차별점

• 함수 타입을 곧바로 생성 스키마로 사용한다. 기존 프롬프트 중심 워크플로는 별도 파싱과 후처리가 필요하지만 Mellea는 타입 힌트와 Pydantic으로 검증을 내장해 파이프라인에서의 오류 발생을 코드 수준에서 방지한다. 이 접근은 테스트 작성과 정형화된 출력 보장을 단순화한다.
• 요구조건-검증-수리 루프를 내장하고 있다. 단순한 재시도 전략이 아니라 자연어 요구조건을 바탕으로 검증을 수행하고 실패 시 재생성 또는 수리 로직으로 결과를 보정하므로 단회성 오류를 체계적으로 감소시킨다. 이 과정은 안정성 향상에 직접적으로 기여한다.
• 백엔드 및 통합 호환성을 우선한다. Ollama, OpenAI, HuggingFace, WatsonX, LiteLLM, Bedrock 같은 여러 추론 환경을 지원하며 mify와 MCP 호환성으로 기존 코드와 에이전트 인프라에 손쉽게 통합된다. 이로 인해 도입 장벽을 낮추고 다양한 런타임에서 재사용 가능성이 높다.

사용 사례

• 프롬프트 기반 파이프라인의 안정성을 확보하는 데 사용한다. 기존의 자유형 프롬프트가 불안정할 때 타입 스키마와 검증 루틴을 적용해 생성 결과의 형식과 필드 값을 보장할 수 있다. 이 방식은 로그 처리, 사용자 입력 추출, 구조화된 리포트 생성 같은 작업에 적합하다.
• 에이전트와 도구 통합에서 신뢰 가능한 도구 래퍼를 만드는 데 사용한다. Mellea로 작성한 생성 프로그램을 MCP 도구로 노출하면 오케스트레이터가 예측 가능한 인터페이스로 호출할 수 있어 에이전트 조합의 안정성이 향상된다. 자동 수리와 샘플링 전략은 장기 실행 작업에서 오류 누적을 줄인다.
• 레거시 코드베이스에 점진적으로 LLM 기능을 도입하는 데 사용한다. mify를 통해 기존 함수와 상호연동하고 타입 기반 검증을 추가하면 최소한의 코드 변경으로 생성 컴포넌트를 안전하게 통합할 수 있다. 이 접근은 릴리즈 리스크를 낮추고 점진적 전환을 용이하게 한다.

시작하기

설치는 README에 제시된 명령어로 진행하며 예시로 'uv pip install mellea'를 실행해 패키지를 설치한다. 기본 세션은 start_session() 호출로 얻으며 @generative 데코레이터를 적용한 함수를 호출하는 형태로 바로 테스트할 수 있다. 더 상세한 설치 옵션과 예제는 공식 문서와 예제 노트북 링크에서 확인할 수 있다.