LLM API용 단일 헤더 C++ 라이브러리 모음 - libcurl 외 의존성 없음

섹션별 상세

llm-stream은 OpenAI와 Anthropic의 스트리밍 응답을 처리하며 사용자 정의 콜백 함수를 통해 실시간으로 텍스트 데이터를 수신하고 제어할 수 있는 인터페이스를 제공한다.

llm-cache는 로컬 파일 시스템을 활용한 시맨틱 캐싱 기능을 구현하며 LRU 알고리즘을 통해 저장 공간을 효율적으로 관리하고 유사한 질의에 대한 응답 속도를 높인다.

llm-cost는 인터넷 연결 없이도 로컬에서 토큰 수를 계산하고 현재 API 가격 정책에 기반한 예상 비용을 산출하여 효율적인 예산 관리를 돕는다.

llm-retry는 지수 백오프와 서킷 브레이커 패턴을 통해 네트워크 오류에 강인한 구조를 제공하며 주 API 제공자 장애 시 다른 제공자로 자동 전환하는 페일오버 기능을 지원한다.

llm-format은 외부 JSON 라이브러리 없이도 작동하는 경량 JSON 파서를 내장하여 LLM의 출력을 특정 스키마에 맞게 강제하고 구조화된 데이터를 추출한다.

시맨틱 캐시(Semantic Cache): — 텍스트의 의미적 유사성을 기반으로 데이터를 저장하고 재사용하는 기술이다. 동일한 질문이 아니더라도 유사한 맥락의 요청에 대해 미리 저장된 답변을 제공함으로써 API 호출 비용과 응답 시간을 줄이는 역할을 한다.
지수 백오프(Exponential Backoff): — 네트워크 요청 실패 시 재시도 사이의 대기 시간을 지수적으로 늘려가는 알고리즘이다. 서버의 일시적인 과부하 상태에서 클라이언트가 동시에 재요청을 보내 상황을 악화시키는 것을 방지하여 시스템 안정성을 높인다.
서킷 브레이커(Circuit Breaker): — 원격 서비스 호출 실패가 일정 횟수를 초과하면 추가 호출을 즉시 차단하는 소프트웨어 디자인 패턴이다. 장애가 발생한 시스템에 계속 부하를 주는 것을 막고 시스템 전체의 붕괴를 방지하는 안전장치로 작동한다.
단일 헤더 라이브러리(Single-header Library): — 모든 소스 코드가 하나의 헤더 파일(.hpp)에 포함된 형태의 라이브러리이다. 별도의 빌드 설정이나 복잡한 의존성 관리 없이 파일 하나만 프로젝트에 추가하면 즉시 사용할 수 있어 배포와 통합이 매우 간편하다.