당신의 LLM은 런타임이 아니라 컴파일러여야 한다

섹션별 상세

현재의 에이전트 프레임워크는 동일한 논리와 API 호출을 매번 재계산하는 N+1 쿼리 문제와 같은 비효율을 안고 있다. 추론을 매번 발생하는 운영 비용(Runtime Cost)으로 취급하는 대신, 한 번 투자하여 재사용 가능한 결과물을 만드는 빌드 비용(Build Cost)으로 전환해야 한다. 이를 통해 사용자는 반복되는 추론 비용과 모델의 확률적 응답으로 인한 불확실성에서 벗어날 수 있다.

근거

추론 비용은 운영 비용이 아닌 일회성 투자로 재사용 가능한 빌드 비용이어야 한다. — Every time your agent handles a user request it spins up an LLM... it should be a BUILD cost

기존의 '스킬(Skills)' 중심 접근법은 LLM의 컨텍스트를 비대하게 만들고 매번 추론 과정을 거치게 하는 한계가 있다. 대신 LLM을 활용해 온디맨드로 대형 도구(Mini-apps)를 생성하고, 이를 QuickJS와 같은 환경에서 실행되는 결정론적 스크립트로 관리하는 것이 더 효율적이다. 이 구조에서는 대부분의 실행이 RAG 기반의 인자 채우기 작업으로 변환되어 모델 부하를 최소화한다.

제안된 아키텍처는 로컬의 저렴한 모델이 사용자 의도를 파악하고 기존 라이브러리에서 적절한 앱을 찾아 실행하는 구조를 가진다. 만약 적합한 앱이 없다면 Claude Code와 같은 에이전트가 투입되어 1,000라인 미만의 스크립트를 생성하거나 기존 기능을 확장한다. 생성된 스크립트는 샌드박스에서 테스트된 후 배포되며, 이후 실행 단계에서는 토큰 소모나 할루시네이션 없이 안정적으로 동작한다.

시스템의 생명주기 중 LLM은 생성, 패치, 확장 단계에만 참여하며 모니터링과 실행 단계에서는 완전히 배제된다. 코드에 버그가 발생했을 때만 LLM을 호출하여 에러를 읽고 패치를 생성하며, 이 한 번의 수정이 향후 모든 실행에 반영되는 자가 치유 구조를 갖춘다. 이러한 방식은 모델 공급업체의 업데이트나 필터 변경에도 시스템의 안정성을 유지할 수 있게 해준다.

근거

LLM이 생성한 결정론적 스크립트는 모델의 업데이트나 안전 필터 변경의 영향을 받지 않는다. — Your compiled scripts also don't care when the provider silently downgrades the model

용어 해설

N+1 쿼리 문제(N+1 Query Problem): — 데이터베이스 설계에서 연관된 데이터를 조회할 때 불필요하게 많은 쿼리가 발생하는 비효율을 뜻하며, 본문에서는 매 요청마다 LLM 추론을 반복하는 낭비적 구조를 비유하는 데 사용됐다.
결정론적 산출물(Deterministic Artifact): — 동일한 입력에 대해 항상 동일한 출력을 보장하는 결과물로, LLM의 확률적 생성물과 달리 실행 결과가 예측 가능하고 안정적인 코드나 스크립트를 의미한다.
자기 지도형 에이전트 프로그래밍(Self-supervised Agentic Programming): — AI 에이전트가 스스로 코드를 작성하고 테스트하며 오류를 수정하는 과정을 반복하여 완성도 높은 프로그램을 만들어내는 자동화된 개발 방식이다.
분할 상환 추론 비용(Amortized Inference Cost): — 초기에 한 번 LLM을 사용하여 코드를 생성(컴파일)해두면, 이후 실행 시에는 LLM 호출 없이 코드만 실행하므로 사용량이 늘어날수록 1회당 평균 비용이 낮아지는 경제적 효과를 말한다.

기술

Claude Code
QuickJS
OpenClaw
hermes-agent

활용 사례

반복적 업무 자동화 에이전트
비용 최적화된 RAG 시스템
자가 치유형 코드 생성 파이프라인