개인 프로젝트 'Black LLAB' 공개: 로컬 및 클라우드 모델을 동적으로 라우팅하는 자율 에이전트 시스템

실용적 조언

모델 라우팅 시 XML 태그를 활용한 컨텍스트 쉐이핑을 적용하여 'Lost in the Middle' 현상을 방지할 수 있다.
로컬 비전 처리를 위해 Pix2Text 라이브러리를 활용하면 OCR 기능을 독립적으로 구현 가능하다.
API 비용 관리를 위해 시스템 레벨에서 일일 지출 한도 제한 기능을 구현하는 것이 권장된다.

섹션별 상세

동적 복잡도 라우팅 시스템은 Mistral 3B Instruct 모델을 사용하여 프롬프트를 1-100점 사이로 평가한다. 간단한 질문은 로컬의 Qwen 9B 등으로 보내고, 대규모 코딩 작업은 Claude Opus와 같은 고성능 클라우드 모델로 자동 배정하여 비용과 성능의 균형을 맞춘다. 특히 긴 문맥에서 발생하는 'Lost in the Middle' 현상을 방지하기 위해 XML 기반의 컨텍스트 쉐이핑 기법을 적용했다.

보안을 위해 OpenClaw를 통합한 Docker 샌드박싱 아키텍처를 채택했다. 에이전트가 배포될 때마다 전용 격리 컨테이너가 생성되어, AI가 파일을 작성하거나 웹 스크래핑 및 코드 실행을 수행할 때 호스트 OS에 직접적인 위험을 주지 않도록 설계했다. 이는 독립 연구자들이 자신의 환경에서 안전하게 자율 에이전트를 실행할 수 있게 돕는다.

RAG 시스템은 단순 벡터 검색을 넘어 NetworkX를 활용한 영구 지식 그래프를 구축한다. 여기에 크로스 인코더(Cross-Encoder)를 추가하여 검색된 컨텍스트 중 가장 정확한 정보를 다시 한 번 선별하는 '스나이퍼 검색' 방식을 구현했다. 이를 통해 기존 벡터 데이터베이스만 사용했을 때보다 문맥 이해도가 향상됐다.

로컬 환경에서의 실시간 정보 활용을 위해 SearxNG를 통한 웹 검색과 Pix2Text를 이용한 OCR/비전 기능을 통합했다. 또한 클라우드 API 사용 시 발생할 수 있는 과도한 비용 지출을 막기 위해 일일 지출 한도 슬라이더 기능을 포함하여 하드웨어 자원과 비용을 동시에 관리할 수 있도록 했다.

용어 해설

동적 라우팅(Dynamic Routing): — 입력된 프롬프트의 복잡도를 평가하여 적절한 성능과 비용을 가진 모델로 작업을 자동 배정하는 기술이다. 간단한 작업은 가벼운 로컬 모델로, 복잡한 작업은 고성능 클라우드 모델로 보내 효율성을 극대화한다.
Docker 샌드박싱(Docker Sandboxing): — AI 에이전트가 실행하는 코드가 호스트 시스템에 영향을 주지 않도록 격리된 컨테이너 환경에서 실행하는 보안 기법이다. 파일 시스템 접근이나 네트워크 활동을 제한하여 안전한 코드 실행을 보장한다.
크로스 인코더(Cross-Encoder): — 질문과 문서를 동시에 입력받아 둘 사이의 관련성을 정밀하게 계산하는 모델이다. 일반적인 벡터 유사도 검색보다 연산량은 많지만 훨씬 높은 검색 정확도를 제공하여 RAG의 성능을 높인다.
로스트 인 더 미들(Lost in the Middle): — LLM이 긴 컨텍스트의 처음과 끝 부분 정보는 잘 기억하지만 중간에 위치한 정보는 제대로 활용하지 못하는 현상이다. 이를 해결하기 위해 XML 태그 등을 활용한 컨텍스트 구조화 기법이 사용된다.
지식 그래프(Knowledge Graph): — 데이터 간의 관계를 노드와 간선으로 연결하여 그래프 구조로 표현한 데이터베이스이다. 단순 텍스트 검색에서 놓치기 쉬운 개체 간의 맥락적 연결성을 파악하는 데 유리하다.

언급된 도구

Ollama추천

로컬 LLM 실행 및 서빙 엔진

FastAPI추천

백엔드 API 서버 구축

NetworkX추천

지식 그래프 구조 생성 및 관리

ChromaDB추천

벡터 데이터 저장 및 검색

언급된 리소스

GitHubBlack LLAB GitHub Repository