이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
Frontier Model의 높은 토큰 비용과 긴 작업 처리로 기업의 사용자당 AI 지출이 지난해보다 10배에서 20배까지 늘어날 수 있어, Glean은 업무별로 필요한 모델과 도구를 선택하는 Model Routing을 핵심 기능으로 삼고 있습니다. 직원과 관리자가 모델을 선택하거나 제한할 수 있고 automatic mode가 요청별 라우팅을 수행하며, Waldo는 질문을 분해하고 관련 자료를 모아 고성능 모델에 넘길 작업만 선별해 latency 50%와 토큰 25% 감소를 목표로 합니다. Glean은 Zillow와 Booking.com의 광범위한 사용 데이터를 Human Feedback Loop로 활용하고, 실제 요청의 일부를 다른 모델로 병렬 평가해 라우터를 개선합니다. 비용 상승으로 Open-Weight Model을 고려하는 기업이 늘면서 여러 공급자를 함께 운영하는 구조가 확산되고 있으며, Glean은 Enterprise Search에서 end-to-end AI platform으로 범위를 넓히고 있습니다.
섹션별 상세
Frontier Model의 토큰 단가와 사용량이 함께 오르면서 기업의 AI 비용 관리가 Model Routing의 핵심 동인이 됐습니다. Glean은 직원이 모델을 직접 고르거나 관리자가 사용 가능한 모델과 한도를 제한하도록 하며, automatic mode에서는 요청별로 모델을 동적으로 배정합니다. 단순한 덧셈이나 곱셈처럼 LLM이 필요 없는 작업에는 calculator 같은 도구를 우선해 불필요한 추론 비용을 막고, Glean의 내부 주장 기준 Claude Code보다 작업당 비용이 낮은 구조를 구축했습니다.
근거
- Glean의 automatic mode는 요청별로 모델을 동적으로 선택하며, 고객이 이를 주로 비용 절감 목적으로 사용한다. — How model routing is done in Glean 섹션의 세 가지 모델 선택 방식과 automatic mode 관련 Arvind Jain 발언
- Glean은 Claude Code보다 작업당 비용이 낮다고 주장하며 평균 비용을 $0.45 대 $1.84로 제시했다. — How model routing is done in Glean 섹션의 Tony Gentilcore 인용
Glean의 라우팅 품질은 기업 사용자가 실제로 어떤 모델을 선택하고 결과에 불만족할 때 어떤 모델로 이동하는지 관찰하는 Human Feedback Loop에서 개선됩니다. Zillow에서는 7,000명 직원의 80%가 사용하고 Booking.com에서는 전사 도입이 이뤄졌다는 고객 사례가 제시돼, 다양한 업무 요청과 모델 전환 데이터를 확보할 수 있는 배경이 마련됐습니다. Glean은 실제 트래픽의 일부 요청을 더 저렴하거나 더 비싼 다른 모델로 병렬 처리한 뒤 AI-based judges로 결과를 비교해 라우터를 지속적으로 조정합니다.
근거
- Zillow에서 Glean의 직원 도입률은 7,000명 기준 80%이며, Booking.com에서는 전사 도입이 이뤄졌다. — The human feedback loop 섹션의 고객 도입 사례 문단
Waldo는 Glean의 LLM 위에서 질문을 분해하고 도구와 다음에 읽을 자료를 선택하며, 충분한 근거가 모이면 Frontier Model로 넘기는 agentic search 모델입니다. 먼저 업무에 필요한 문서와 지식이라는 raw materials를 모은 뒤 고성능 모델에 전달하므로, 관련성이 낮은 자료를 잔뜩 넣어 추론시키는 비용을 줄입니다. Glean은 Waldo가 latency를 50%, 토큰 사용량을 25% 줄인다고 밝히며, 더 저렴한 모델도 더 좋은 context를 확보하면 관련 없는 데이터가 많은 Frontier Model보다 나은 결과를 낼 수 있다고 설명했습니다.
근거
- Glean은 Waldo가 latency를 50%, 토큰 사용량을 25% 줄인다고 밝혔다. — Here’s Waldo, gathering raw materials 섹션의 Waldo 성능 수치
AI 모델 가격이 급등하자 기업은 Open-Weight Model을 비용 절감과 공급자 다변화를 위한 핵심 구성요소로 보기 시작했습니다. Arvind Jain은 지난 3개월 동안 기업의 관심이 급격히 높아졌으며 open source 모델이 일부 작업에서 한 자릿수 이상의 비용 차이를 낸다고 말했습니다. 기업이 한두 개의 모델 공급자에만 의존하지 않으려는 흐름과 Kimi K3, Qwen3.8-Max 같은 Open-Weight Model의 성장은 Model Routing이 여러 모델을 함께 운영하는 기반이 되도록 만들고 있습니다.
근거
- Glean은 실제 업무 트래픽의 일부를 다른 가격대의 모델로 병렬 실행하고 AI-based judges로 라우터 품질을 평가한다. — Evals 섹션의 internal testing systems와 continuous learning 관련 Jain 발언
Glean은 초기의 enterprise search 제품에서 직원 업무 전반에 AI를 연결하는 end-to-end AI platform으로 확장됐습니다. 기업 문서와 업무 방식에 대한 이해를 바탕으로 검색, AI Answers, agents, 여러 LLM을 하나의 경험으로 묶고, 그 과정에서 축적한 사용 데이터를 Model Routing에 다시 활용합니다. 검색용 AI를 넘어 모든 직원의 workflow에 AI가 들어가는 흐름이 커질수록, 특정 모델 하나보다 업무별로 가장 적합한 모델과 도구를 선택하는 플랫폼 구조의 가치가 커집니다.
근거
- 기업의 Open-Weight Model 관심은 AI 비용 상승 이후 최근 3개월 동안 크게 증가했다. — The rapid rise of open-weight models 섹션의 최근 3개월 관련 Jain 발언
용어 해설
- Model Routing
- — 사용자 요청의 종류와 난이도에 따라 여러 AI 모델 가운데 적합한 모델을 동적으로 선택하는 방식입니다. 단순한 작업에는 저렴한 모델이나 비LLM 도구를 쓰고, 복잡한 작업에만 고성능 모델을 배정해 비용과 응답 품질을 함께 관리합니다.
- Open-Weight Model
- — 모델의 가중치를 공개해 기업이나 개발자가 직접 실행하거나 조정할 수 있는 AI 모델입니다. 외부 API 사용료를 줄이고 특정 인프라와 업무에 맞게 운영할 수 있어, 고가의 Frontier Model을 보완하는 선택지로 활용됩니다.
- Human Feedback Loop
- — 사용자가 실제 업무에서 어떤 모델을 선택하고 결과에 만족하지 못할 때 다른 모델로 전환하는 행동을 수집해 시스템 개선에 활용하는 순환 구조입니다. 실제 사용 데이터를 라우팅 정책과 평가에 반영해 업무별 모델 선택을 정교하게 만듭니다.
- Agentic Search
- — 검색 시스템이 질문을 여러 단계로 나누고 필요한 도구와 문서를 스스로 선택한 뒤, 충분한 근거가 모이면 답변 생성을 요청하는 방식입니다. Waldo는 이 과정을 수행해 불필요한 토큰 사용을 줄이고 고성능 모델이 처리할 작업을 선별합니다.
- Evals
- — LLM이 실제 업무 요청에 대해 얼마나 정확하고 적절한 결과를 내는지 측정하는 평가 절차입니다. 여러 모델로 같은 작업을 수행하고 AI-based judges가 결과를 비교해 모델 라우터의 선택이 적절했는지 확인합니다.
기술
- Glean
- Waldo
- ChatGPT
- Claude
- Gemini
- Grok
- Claude Code
- OpenRouter
- Kimi K3
- Qwen3.8-Max
- Transformer
활용 사례
- 기업 직원용 AI coworker
- Enterprise Search와 조직 문서 기반 AI Answers
- 부서별 AI agent 구축과 배포
- 업무 난이도별 LLM 자동 선택
- LLM이 필요 없는 계산 작업의 도구 전환
- 여러 Open-Weight Model과 Frontier Model의 통합 운영
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 08. 19.수집 2026. 08. 19.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
