이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
회사는 내부 LLM 프록시인 Blade Code를 도입해 모든 개발자 요청을 하나의 게이트웨이로 모았다. 게이트웨이는 런타임 레지스트리로 공급자와 모델을 원자적으로 노출하고, 데스크톱 데몬은 기기 트래픽을 투명하게 가로채 팀 키와 프롬프트 컨텍스트를 포함해 중앙으로 보냈다. 이로 인해 반복적 작업은 저비용·셀프호스팅 모델로, 프론티어 작업은 개발자 구독으로 흡수되어 전체 AI 비용을 94% 줄이는 결과가 나왔다.
섹션별 상세
전체 요청을 하나의 게이트웨이로 모으는 설계가 핵심이다. 이 게이트웨이는 OpenAI Chat Completions와 Anthropic Messages 두 가지 와이어 포맷을 수용하고, 방언이 동일하면 그대로 패스스루하며 다르면 내부 표준(OpenAI 형태)으로 정규화해 재번역한다. 이렇게 하여 스트리밍 이벤트는 버퍼링 없이 재발행되고, 도구 호출·캐시 힌트 같은 네이티브 기능도 보존된다.
런타임 구성(registry)으로 공급자와 모델을 노출해 배포 없이 즉시 활성화할 수 있게 했다. 공급자별 어댑터는 다섯 가지 메서드 계약을 따르고, 새로운 프로토콜이면 어댑터만 추가하면 된다. 이 방식은 코드 릴리스 없이 서버 구성만으로 회사 전역에 모델을 노출시키는 운영 유연성을 만든다.
팀·멤버 기반의 신원과 예산 모델을 정책의 중심에 두었다. 모든 키는 팀 키이고 개인 키는 없으며 요청에 팀 ID가 항상 붙어 예산 집행과 모델 접근 제어가 요청 경로에서 즉시 이루어진다. 관리자는 허용 범위를, 팀 소유자는 그 안에서 개별 모델·공급자를 켜고 끌 수 있어 운영권한과 거버넌스가 분리된다.
엔드포인트에서의 머신 레벨 가버넌스를 위해 데스크톱 데몬을 배포했다. 기기에 설치된 데몬이 허용 목록에 있는 공급자 호스트를 모사해 애플리케이션 트래픽을 투명하게 프록시로 보낸다. 이 과정에서 로컬에서 개발자 증명서를 제거하고 블레이드 코드의 스코프된 팀 키로 바꿔 전송하므로 별도 설정 없이도 모든 지원 애플리케이션을 중앙 경로로 묶을 수 있다.
프롬프트 전마다 저장소·브랜치·작업 디렉터리를 재계산해 헤더로 전달하고, GUI 앱은 프로세스 매핑을 통해 동일한 컨텍스트를 복구했다. 이로써 기능 단위 비용 귀속이 가능해져 어떤 feature가 비용을 유발하는지 판단할 수 있다. 잘못된 속성 대신 빈 값으로 떨어뜨리도록 설계해 잘못된 귀속을 방지했다.
비용 절감은 두 가지 트랙을 곱한 결과로 나타났다. 첫째는 반복적·대량 작업을 적합한 저비용 또는 셀프호스팅 모델로 라우팅한 것이고, 둘째는 남은 프론티어형 작업을 개발자 개인의 구독(plan)으로 흡수한 것이다. 두 트랙을 함께 적용해 동시다발적으로 발생하던 과다 청구를 억제해 전체 비용을 94% 낮추었다.
용어 해설
- 프록시 기반 컨트롤 플레인(Proxy Control Plane)
- — 프록시가 요청을 중앙에서 수신해 라우팅, 인증, 정책 집행을 수행하는 구조로, 실시간 구성 갱신과 비용·사용량 계측에 유리하다.
- 구독 기반 라우팅(Subscription Routing)
- — 개발자 개인 구독을 경로로 활용해 프론티어 모델 호출을 구독 용량으로 흡수하고 청구 대상을 줄이는 방식으로, 비용 절감에 직접적으로 작동한다.
- 셀프호스팅 추론(Self-hosted inference)
- — 사내 GPU에 오픈 웨이트 모델을 배포해 고비용 API 호출을 대체하는 운영 방식으로, 토큰 단가 및 데이터 주권 두 축에서 이익을 만든다.
- 프롬프트 단위 속성화(Per-prompt attribution)
- — 각 요청에 리포지토리·브랜치·작업 경로를 헤더로 붙여 팀·멤버·기능 단위 비용을 정확히 연결하는 기법으로, 최적화 우선순위를 제공한다.
- 정수 마이크로달러 회계(Integer micro-dollar accounting)
- — 토큰 가격과 사용량을 소수 대신 마이크로달러 정수로 계산해 반올림 오차를 제거하는 회계 방식으로, 대량 요청에서 정합성을 확보한다.
근거 모음
근거
- 시스템 도입으로 AI 비용을 94% 절감했다. — 본문에 'The migration that saved 94%' 섹션의 숫자와 전후 비교 설명
- 절감분의 약 2/3는 구독(plan)으로 흡수되었고 1/3은 저비용·셀프호스팅 모델로의 라우팅에서 나왔다. — 본문의 'Track one'·'Track two' 설명과 'two thirds/one third' 구문
- 레지스트리는 런타임 구성으로 원자적 리로드를 지원해 배포 없이 다음 요청부터 새 모델을 사용할 수 있다. — 초기 'Providers and models' 단락의 'runtime configuration, not code' 설명
- 데몬은 TLS 중간 종단을 위해 각 기기에서 루트 CA를 생성해 제한된 호스트에만 신뢰를 부여하고, 기능을 비활성화하면 제거한다. — 데몬 관련 섹션의 TLS 인터셉션 논의와 범위·삭제 절차 기술
- 프롬프트별로 리포지토리·브랜치·작업경로를 헤더로 보내 기능 단위 비용 귀속을 실현했다. — 프롬프트 컨텍스트 섹션의 X-Proxy-Git-Repo 등 헤더 예시와 프로세스 매핑 설명
기술
- Anthropic
- OpenAI
- OpenRouter
- Nebius
- GLM
- Kimi
- Claude Code
- Codex
- Pi
활용 사례
- 대규모 에이전트 워크플로의 내부 토큰 비용을 낮추는 데 적합하다. 반복 요약·분류·리팩터링 같은 고빈도 작업을 저비용 모델로 라우팅해 메터링 비용을 줄일 수 있다. 구독과 셀프호스팅을 병행하면 프론티어 모델에만 비용을 집중시킬 수 있다.
- 기밀 데이터를 처리하는 팀은 셀프호스팅 모델로 완전히 내부 처리 경로를 확보할 수 있다. 내부 GPU와 오픈 웨이트 모델을 통해 데이터가 외부 제공자에 노출되지 않도록 운영할 수 있다. 이 방식은 규제·보안 요구가 높은 프로젝트에서 유리하다.
- 팀·기능 단위의 비용 귀속이 필요한 조직에서 기능별 ROI 판단을 지원한다. 프롬프트별 저장소·브랜치 메타데이터를 수집해 어떤 feature가 토큰을 소비하는지 정확히 연결할 수 있다. 그 결과로 어디를 먼저 마이그레이션할지 우선순위를 정할 수 있다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 08. 04.수집 2026. 08. 04.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
