핵심 요약
LLM 애플리케이션 개발 시 다양한 모델과 서비스를 통합하는 과정에서 발생하는 복잡성과 라이브러리 비대화 문제를 해결하기 위해 Xecai가 개발되었다. 이 라이브러리는 Chat, VectorDB, Memory, Embedding, Reranker 등 RAG 시스템의 핵심 구성 요소를 위한 표준화된 인터페이스를 제공한다. 공식 SDK를 직접 활용하여 안정성을 높였으며, 사용자가 필요에 따라 동작을 쉽게 커스터마이징할 수 있도록 설계되었다. 현재는 RAG 목적에 집중하고 있으며, 복잡한 에이전트 기능보다는 핵심 기능의 단순함과 확장성을 우선시한다.
배경
Python 기초 지식, LLM API(OpenAI 등) 사용 경험, RAG(검색 증강 생성) 개념 이해
대상 독자
경량화된 RAG 시스템을 구축하고자 하는 파이썬 백엔드 및 AI 엔지니어
의미 / 영향
이 라이브러리는 LLM 프레임워크 시장에서 '경량화'와 '확장성'에 대한 수요를 반영한다. 개발자들이 복잡한 추상화보다는 제어권을 선호함에 따라, Xecai와 같이 핵심 기능에 집중한 도구들이 프로덕션 환경에서 더 선호될 가능성이 높다.
섹션별 상세
Xecai는 Chat, VectorDB, Memory, Embedding, Reranker 등 RAG 시스템 구축에 필요한 5가지 핵심 인터페이스를 제공한다. 각 인터페이스는 OpenAI, PostgreSQL, AWS 등 다양한 서비스의 구현체를 포함하며, 사용자는 최소한의 코드 변경만으로 모델이나 서비스를 교체할 수 있다. 이를 통해 특정 벤더에 종속되지 않는 유연한 아키텍처 설계가 가능하다.
python
from chat.implementations.openai.openai_chat import OpenAIChat
messages = [Message(content="what model are you?", message_type=MessageType.USER)]
prompt = "you are a helpful bot"
model = "gpt-4o"
chat = OpenAIChat()
chat.check_model(model)
response, stats = chat.invoke(model, prompt, messages)
print(response)OpenAI Chat 인터페이스를 사용하여 모델을 호출하고 응답을 받는 예시
python
from vector_db.implementations.postgresql.postgresql_vector_db import PostgreSQLVectorDB
from embeddings.implementations.openai.openai_embedding import OpenAIEmbedding
from models import SearchType
vector_db = PostgreSQLVectorDB(
embedding_interface=OpenAIEmbedding(),
embedding_model="text-embedding-3-small"
)
chunks = vector_db.sync_retrieve(
query="this is an example query",
k=3,
search_type=SearchType.HYBRID,
)PostgreSQL을 벡터 DB로 사용하여 하이브리드 검색을 수행하는 예시
라이브러리는 공식 SDK를 직접 사용하는 방식을 채택하여 라이브러리 자체의 비대화를 방지하고 안정성을 확보했다. JustLLMs가 HTTP 요청을 직접 처리하거나 LiteLLM이 로컬 프록시를 사용하는 것과 달리, Xecai는 개발자가 익숙한 공식 도구를 기반으로 추상화 계층을 제공한다. 이는 디버깅을 용이하게 하고 각 서비스의 최신 기능을 즉각적으로 활용할 수 있게 한다.
전형적인 RAG 워크플로우를 지원하기 위해 대화 기록 관리 및 쿼리 압축(Condense Query) 기능을 포함한다. 사용자의 질문이 들어오면 대화 기록 존재 여부를 확인하고, 맥락에 맞게 질문을 재구성한 뒤 벡터 DB에서 관련 청크를 검색하여 최종 응답을 생성하는 흐름을 가진다. 이러한 구조는 복잡한 대화 맥락에서도 정확한 검색 결과를 도출하도록 돕는다.
기존의 대중적인 라이브러리인 LangChain과 비교했을 때, 특정 기능이 지나치게 복잡하게 얽혀 있지 않아 동작 변경이 용이하다. 또한 OpenRouter와 같은 제3자 서비스를 거치지 않아 추가 비용이 발생하지 않으며 데이터 흐름을 직접 제어할 수 있다. 개발자는 라이브러리의 내부 로직을 깊게 파고들지 않고도 필요한 부분만 손쉽게 확장할 수 있다.
실무 Takeaway
- LangChain의 복잡성이나 비대함이 부담스러운 프로젝트에서 Xecai를 도입하여 RAG 파이프라인을 더 가볍고 유지보수하기 쉽게 설계할 수 있다.
- PostgreSQL을 벡터 DB와 대화 메모리 저장소로 동시에 활용하여 인프라 구성 요소를 최소화하고 관리 효율성을 높일 수 있다.
- 공식 SDK를 기반으로 한 인터페이스를 사용함으로써 최신 모델 기능 지원에 대한 대응 속도를 높이고 라이브러리 의존성 문제를 줄일 수 있다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료