LLM 에이전트 전략 계산기: 강력한 모델 우선인가, 약한 모델 우선인가?

멀티 스텝 코드 생성 에이전트를 구축할 때 초기 생성에 강력한 모델을 쓰고 약한 모델로 수정하는 전략(A)과 그 반대 전략(B) 사이의 비용 효율성을 수학적으로 분석했다. 버그 수정 과정에서 발생하는 컨텍스트 누적 비용을 기하 분포와 분산을 활용해 모델링하여 총 기대 비용을 산출했다. 분석 결과, 대화 맥락을 공유하는 구조에서는 컨텍스트 증가에 따른 비용이 반복 횟수의 제곱에 비례하여 급격히 상승함이 확인됐다. 특히 약한 모델의 입력 비용이 저렴하기 때문에, 수정 횟수가 많더라도 강력한 모델이 비싼 비용으로 긴 컨텍스트를 읽어야 하는 전략 B보다 전략 A가 유리한 경우가 많다.