LLM 에이전트 전략 계산기: 강력한 모델 우선인가, 약한 모델 우선인가?

섹션별 상세

에이전트 워크플로 설계 시 초기 생성의 품질을 높일 것인지 아니면 사후 수정에 비용을 투자할 것인지에 대한 두 가지 전략적 선택지가 존재한다. 전략 A는 비싼 모델로 고품질 코드를 생성한 뒤 저렴한 모델로 잔여 버그를 수정하며, 전략 B는 저렴하게 생성한 뒤 비싼 모델을 투입해 복잡한 문제를 해결한다. 이 선택은 모델별 입력/출력 토큰 단가와 버그 발생률, 그리고 수정 성공 확률에 따라 결정된다. 두 전략의 비용 교차점을 찾는 것이 운영 효율화의 핵심이다.

버그 수정 시 대화 맥락을 유지하는 방식(Shared Conversation)은 컨텍스트 누적에 따른 비용 페널티가 이차 함수 형태로 증가한다. 각 수정 시도마다 이전의 오류 추적(Error Trace)과 생성 결과가 쌓이면서 이후 시도의 입력 토큰량이 기하급수적으로 늘어나기 때문이다. 수학적 모델링 결과, 총 기대 비용에 반복 횟수의 제곱(I²) 항이 포함되어 버그가 많아질수록 비용 부담이 심화된다. 이는 긴 대화를 유지하는 에이전트 설계 시 가장 주의해야 할 비용 병목 구간이다.

근거

공유 대화 맥락 모델에서 비용은 총 반복 횟수의 제곱(I²)에 비례하여 증가한다. — 04 context growth: shared conversation 섹션의 수학 공식

버그마다 대화 맥락을 초기화하는 방식(Fresh per Bug)을 도입하면 컨텍스트 누적 비용을 선형적으로 제어할 수 있다. 이 구조에서는 특정 버그를 수정하기 위한 재시도 내에서만 컨텍스트가 쌓이고, 버그가 해결되면 다시 초기 프롬프트 상태로 리셋된다. 모델링 결과 I² 항이 사라지고 재시도 횟수의 분산(V)에 비례하는 페널티만 남게 되어 전체 비용이 크게 절감된다. 대부분의 잘 설계된 에이전트가 이 방식을 채택하여 효율성을 확보하고 있다.

근거

버그별 컨텍스트 초기화 모델은 I² 항을 제거하여 비용 증가를 억제한다. — 05 context growth: fresh per bug 섹션의 수학 공식 및 설명

전략 B(약한 모델 생성 후 강한 모델 수정)는 비싼 모델이 누적된 긴 컨텍스트를 읽어야 하므로 비용 측면에서 매우 불리하다. 강력한 모델의 입력 토큰 단가(Cs_in)가 높기 때문에, 약한 모델이 만들어낸 많은 양의 버그를 수정하기 위해 비싼 모델이 반복 호출될 때 페널티가 극대화된다. 반면 전략 A는 약한 모델이 여러 번 재시도하더라도 입력 단가(Cw_in)가 낮아 전체 비용 상승폭이 완만하다. 따라서 성능 차이가 극심하지 않다면 강력한 모델을 앞단에 배치하는 것이 경제적이다.

근거

Anthropic의 Sonnet + Opus Advisor 패턴은 Opus 단독 사용 대비 비용을 11.9% 절감하면서 SWE-bench 점수를 2.7점 높였다. — 08 related work 섹션의 advisor pattern 사례

기술

Claude Opus
Claude Sonnet
Gemini Pro
Gemini Flash
GPT-4
SWE-bench

활용 사례

자율 코딩 에이전트
멀티 스텝 추론 파이프라인
자동 버그 수정 시스템

언급된 리소스

논문LLM Routing & Cascading (De Koninck et al., ICLR 2025)

논문The larger the better? (2024)