MarrowScript: LLM 오케스트레이션을 위한 선언적 백엔드 컴파일러

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

LLM 오케스트레이션의 재시도, 검증, 라우팅 등 반복적인 인프라 코드를 선언적으로 처리하는 컴파일러 MarrowScript를 소개한다.

배경

LLM 호출 시 반복되는 인프라 코드의 비효율성을 해결하기 위해 선언적 방식의 백엔드 컴파일러인 MarrowScript를 개발하여 커뮤니티에 공유했다.

의미 / 영향

LLM 오케스트레이션의 복잡성을 인프라 수준에서 선언적으로 분리하려는 시도가 늘고 있다. 로컬 모델과 상용 API를 결합한 하이브리드 라우팅은 비용과 성능 사이의 균형을 맞추는 실무적 대안으로 자리 잡고 있다.

섹션별 상세

LLM 프로젝트마다 재시도, 검증, 캐싱 등 동일한 인프라 코드가 반복되는 문제를 지적했다. 이를 해결하기 위해 모델, 프롬프트, 라우터를 선언적으로 정의하는 방식을 채택했다. 컴파일러가 인프라 코드를 자동 생성하여 개발자가 비즈니스 로직에 집중하도록 돕는다. 이는 코드 중복을 줄이고 유지보수성을 높이는 핵심 전략이다.

MarrowScript의 핵심 정의를 담은 GitHub 저장소 헤더 이미지. — OtherMarrowScript가 결정론적이고 타입이 지정된 LLM 오케스트레이션을 컴파일 타임에 처리하는 도구임을 명시한다. 프로젝트의 핵심 가치 제안을 시각적으로 요약하여 제공한다.

MarrowScript는 spec 파일에 모델과 라우터를 정의하면 인프라 코드를 자동 생성한다. OpenAI 호환 엔드포인트를 지원하며, LM Studio, Ollama, vLLM과 같은 로컬 모델 및 OpenRouter와 같은 원격 API를 유연하게 연결한다. 개발자는 선언적 정의만으로 복잡한 인프라를 구성할 수 있다. 이는 다양한 모델 환경을 통합 관리하는 효율적인 방법이다.

입력 특성에 따라 모델을 선택하는 라우터 기능을 제공한다. 단순 입력은 로컬 모델로 처리하고, 복잡한 입력은 상위 모델로 에스콜레이션하며, 신뢰도 임계값을 통해 재시도나 에스콜레이션을 결정한다. 이 과정은 컴파일 타임에 결정론적으로 처리된다. 이는 비용 최적화와 성능 향상을 동시에 달성하는 구조이다.

Postgres 기반 캐싱, SSRF 보호, OTLP 내보내기, 응답 스키마 검증 및 실패 시 자동 복구 프롬프트 기능을 포함한다. 컴파일 시 결정론적 처리를 보장하여 프로덕션 환경의 안정성을 높인다. 실제 프로덕션 환경에서 인프라 오류를 줄이는 데 기여한다. 이는 안정적인 LLM 서비스 운영을 위한 필수 기능이다.

실무 Takeaway

LLM 오케스트레이션에서 반복되는 인프라 코드를 선언적 정의로 대체하면 유지보수 효율을 높일 수 있다.
로컬 모델과 원격 API를 혼합한 라우팅 전략은 비용 최적화와 성능 향상을 동시에 달성하는 효과적인 방법이다.
컴파일 타임에 인프라를 결정론적으로 처리하면 런타임 오류를 줄이고 안정적인 프로덕션 운영이 가능하다.