다수의 AI 구독 관리의 번거로움을 해결하기 위한 'Frugal Rerouter' 개발기

실용적 조언

작업 성격에 따라 모델을 분리하세요: 실시간 조사는 Perplexity, 긴 문서는 Gemini, 코딩은 DeepSeek을 추천합니다.
클라우드 모델 한도 초과에 대비해 Ollama나 LM Studio를 설치하여 로컬 백업 환경을 구축하는 것이 좋습니다.

섹션별 상세

작성자는 Claude, ChatGPT, Perplexity, Gemini 등 다수의 유료 구독을 유지하면서도 습관적으로 Claude만 사용하다 한도에 걸리는 비효율을 지적했다. 각 서비스는 연간 약 400파운드 이상의 비용이 발생하지만 작업 전환의 마찰력 때문에 특정 모델에 의존도가 쏠리는 현상이 발생한다. 이를 해결하기 위해 작업의 성격을 분석하고 적절한 도구로 분산시키는 자동화된 접근 방식이 필요함을 강조했다.

모델별 강점을 분석한 결과 Perplexity는 실시간 연구, Gemini는 대규모 문서 처리, DeepSeek은 저비용 코딩, ChatGPT는 구조화된 출력 및 통합에 최적화되어 있다. 이러한 특성을 기반으로 작업을 분류하고 복잡도를 점수화하는 라우팅 로직을 설계하여 각 모델의 성능을 극대화했다. 수동 전환의 번거로움을 줄임으로써 구독 중인 모든 도구를 '도구 벨트'처럼 활용하는 워크플로를 구축했다.

구현된 'Frugal Rerouter'는 ChatGPT 스킬 형태로 작동하며 사용자의 질문 유형을 파악하여 ChatGPT에서 직접 처리할지 아니면 다른 도구에 적합한 프롬프트로 변환할지 결정한다. 이 시스템은 입력된 요청의 의도를 분류한 뒤 최적의 모델을 추천하거나 즉시 실행 가능한 프롬프트를 출력하는 방식으로 작동한다. 실제 도입 후 Claude 사용량이 유의미하게 감소하고 전체적인 작업 효율이 개선되었음이 확인됐다.

향후 계획으로 클라우드 크레딧 소진 시 Ollama나 LM Studio 같은 로컬 모델로 자동 전환되는 폴백 시스템 구축을 고려 중이다. 이는 클라우드 서비스의 한계치를 초과했을 때 업무 중단 없이 로컬 자원을 활용하여 추론을 이어가는 하이브리드 전략의 일환이다. 커뮤니티에는 이러한 로컬 모델 통합 방식과 작업 분류 로직의 타당성에 대한 의견을 구하며 프로젝트를 오픈소스로 공개했다.

용어 해설

라우팅 레이어(Routing Layer): — 사용자의 요청을 분석하여 가장 적합한 처리 모델로 전달하는 중간 소프트웨어 계층이다. 여러 LLM 구독 서비스 중 작업 성격에 맞는 모델을 선택해 리소스 낭비를 줄이고 효율을 높이는 데 중요하다.
토큰 사용량(Token Usage): — LLM이 텍스트를 처리하는 최소 단위인 토큰의 소비량을 의미한다. 유료 구독 서비스는 일정 기간 내 사용할 수 있는 토큰이나 메시지 수에 제한을 두기 때문에 이를 효율적으로 관리하는 것이 서비스 연속성 유지의 핵심이다.
로컬 LLM(Local LLM): — 클라우드 서버가 아닌 사용자의 개인 컴퓨터 하드웨어에서 직접 실행되는 언어 모델이다. Ollama나 LM Studio 같은 도구를 통해 구동되며 인터넷 연결 없이 사용량 제한이나 추가 비용 없이 사용할 수 있다는 장점이 있다.
구조화된 출력(Structured Output): — LLM이 단순 텍스트가 아닌 JSON이나 XML 등 정해진 규격에 맞춰 데이터를 생성하는 방식이다. 외부 시스템과의 연동이나 데이터 파싱이 필요한 작업에서 필수적이며 모델마다 이 형식을 유지하는 성능에 차이가 있다.

언급된 도구

Claude추천

범용 LLM 및 기본 작업 도구

ChatGPT추천

구조화된 출력 및 시스템 통합, 라우팅 레이어 구현체

Perplexity추천

실시간 웹 검색 및 연구

Gemini추천

대규모 문서 처리 및 분석

DeepSeek추천

저비용 고효율 코딩 작업

Ollama중립

로컬 모델 실행 및 폴백용 엔진

LM Studio중립

로컬 모델 실행 및 테스트 환경

언급된 리소스

GitHubFrugal Rerouter GitHub Repository