실용적 조언
- 문서 처리가 많은 워크로드라면 일반 비전 모델 대신 PaddleOCR-VL을 연동하여 속도를 17배 높일 수 있다.
- Claude Code를 로컬에서 쓰려면 프록시의 Anthropic 프로토콜 변환 기능을 활성화하고 settings.json을 생성하여 사용하라.
섹션별 상세
v0.3은 Vision 파이프라인과 Dual OCR 시스템을 도입했다. PDF나 도구 출력물에서 먼저 텍스트를 추출하고, 스캔된 문서의 경우 비전 모델로 폴백하는 스마트 라우팅 방식을 사용한다. PaddleOCR-VL과 같은 전용 모델을 사용했을 때 일반 비전 모델보다 문서 페이지 처리 속도가 약 17배 빠르다는 수치가 제시됐다. 이는 대규모 문서 처리 시 추론 비용과 지연 시간을 획기적으로 줄이는 결과로 이어진다.
Claude Code와의 호환성을 위해 Anthropic Messages API를 표준 Chat Completions로 변환하는 기능을 구현했다. 백엔드의 추론 토큰을 thinking/signature_delta 블록으로 래핑하여 Claude Code UI에서 모델의 사고 과정을 그대로 렌더링할 수 있게 처리한다. web_search_20250305 도구 호출을 프록시 단에서 가로채 실행함으로써 로컬 모델에서도 최신 검색 기능을 활용할 수 있다. 이를 통해 사용자는 고가의 API 대신 로컬 vLLM이나 llama-server로 에이전트를 구동할 수 있다.
Codex 에이전트를 위해 Responses API 번역 및 추론 토큰 표시 기능을 추가했다. reasoning_summary_text.delta 이벤트를 생성하여 Codex 인터페이스에 모델의 추론 과정이 네이티브하게 표시되도록 지원한다. 또한 Codex가 전송하는 mcp_tool_call_output 등 특수한 입력 타입을 처리하여 일반 백엔드에서의 오류를 방지한다. 에이전트가 기대하는 구조화된 도구 출력 형식을 프록시가 자동으로 맞춰줌으로써 복잡한 워크플로의 안정성을 높였다.
Brave 및 Tavily 검색 엔진을 네이티브하게 통합하여 에이전트의 검색 능력을 확장했다. 프록시가 검색 요청을 가로채 외부 API를 호출한 뒤 결과를 에이전트가 이해할 수 있는 형식으로 반환한다. MCP SSE 엔드포인트를 통해 Qwen Code나 Claw 같은 MCP 호환 에이전트에서도 웹 검색 기능을 원활하게 사용할 수 있다. 모델별로 검색, 비전, OCR 설정을 다르게 적용할 수 있는 라우팅 기능도 포함되어 유연한 구성이 가능하다.
용어 해설
- 서버 전송 이벤트(SSE)
- — 서버가 클라이언트에게 실시간으로 데이터를 푸시하는 단방향 통신 기술이다. LLM의 스트리밍 응답을 구현할 때 필수적이며, 이 프록시는 파이프라인 처리 중 연결 유지를 위한 keepalive 기능을 개선했다.
- 모델 컨텍스트 프로토콜(MCP)
- — AI 모델이 외부 도구, 데이터 소스 및 서비스와 상호작용하기 위한 개방형 표준 프로토콜이다. Anthropic이 제안했으며, 이 프록시는 웹 검색 등을 위한 MCP SSE 엔드포인트를 제공하여 다양한 에이전트와의 호환성을 확보한다.
- 광학 문자 인식(OCR)
- — 이미지나 문서 내의 텍스트를 기계가 읽을 수 있는 데이터로 변환하는 기술이다. 이 프로젝트는 텍스트 추출을 우선 시도하고 실패 시 비전 모델을 사용하는 듀얼 파이프라인을 통해 효율성을 극대화했다.
- 프로토콜 변환(Protocol Translation)
- — 서로 다른 API 규격(예: Anthropic Messages API와 OpenAI Chat Completions) 간의 요청과 응답을 실시간으로 중계하고 형식을 맞추는 기술이다. 이를 통해 특정 서비스 전용 에이전트를 범용 로컬 백엔드에서 사용할 수 있다.
언급된 도구
go-llm-proxy추천
LLM 프로토콜 변환 및 기능 확장 프록시
PaddleOCR-VL추천
고속 문서 OCR 처리
Tavily추천
AI 에이전트용 검색 API
Brave Search추천
웹 검색 통합
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 04. 05.수집 2026. 04. 05.출처 타입 REDDIT
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
