LOCOMO: LLM 기반 코드 생성 비용 측정을 위한 새로운 비용 모델

섹션별 상세

LOCOMO는 1970년대의 COCOMO 모델을 현대화하여 LLM이 코드를 생성할 때 발생하는 비용과 시간을 추정하기 위해 설계되었다. scc 도구에 통합되어 사용자가 자신의 코드베이스를 분석할 때 --locomo 옵션을 통해 LLM으로 동일한 코드를 재생성할 경우의 예상 비용을 확인할 수 있다.

bash

scc --locomo -i go --no-size

Go 언어로 작성된 프로젝트에 대해 LOCOMO 모델을 적용하여 비용을 추정하는 기본 명령어

비용 계산은 모델의 크기(Small, Medium, Large, Local)에 따른 프리셋을 제공하며, 토큰당 단가와 초당 토큰 생성 속도(TPS)를 기준으로 한다. 기본적으로는 Anthropic의 Claude 3.5 Sonnet과 같은 중간 규모 모델을 기준으로 설정되어 있으며, 로컬 모델 사용 시 하드웨어 비용을 대가로 API 비용을 0으로 계산하는 옵션도 포함한다.

단순한 1회성 생성이 아니라 개발 과정에서의 반복(Cycles)을 반영할 수 있는 기능을 제공한다. 복잡도 추정치를 기반으로 예상 사이클을 계산하거나, 사용자가 직접 --locomo-cycles 옵션을 통해 에이전트의 세션 수를 지정함으로써 실제 개발 환경과 유사한 비용 시뮬레이션이 가능하다.

Anthropic이 Claude Opus를 사용하여 C 컴파일러를 제작한 실제 사례(약 2만 달러 소요)를 LOCOMO로 검증한 결과, 2,000번의 세션을 반영했을 때 약 20,043달러라는 매우 정확한 추정치가 도출되었다. 이는 실제 토큰 소모량과 에이전트 오버헤드를 고려했을 때 LOCOMO가 실질적인 가이드라인을 제공할 수 있음을 입증한다.

bash

scc --locomo --locomo-preset large --no-size --locomo-cycles 125

대형 모델 프리셋과 특정 반복 주기(125회)를 설정하여 Anthropic의 사례를 시뮬레이션하는 명령어

용어 해설

코코모 모델(COCOMO): — 1970년대 배리 보엠이 개발한 소프트웨어 비용 산정 모델로, 코드 라인 수(SLOC)를 기반으로 개발 노력, 기간, 비용을 추정하는 전통적인 방식이다.
에스씨씨(scc): — Sloc Cloc and Code의 약자로, 수많은 프로그래밍 언어의 코드 라인, 공백, 주석을 매우 빠른 속도로 계산하고 복잡도와 비용을 추정하는 오픈소스 명령줄 도구이다.
초당 토큰 수(TPS): — Tokens Per Second의 약자로, LLM이 1초 동안 생성할 수 있는 토큰의 양을 의미하며 모델의 추론 속도와 생성 시간을 결정하는 주요 지표이다.
에이전트 오버헤드(Agent Overhead): — AI 에이전트가 목표를 달성하기 위해 수행하는 도구 호출, 추론 단계(Reasoning), 재시도 등으로 인해 실제 출력물보다 더 많은 토큰이 소모되는 현상이다.

기술

scc
Claude 3.5 Sonnet
Claude 3 Opus
Go

활용 사례

기존 프로젝트의 LLM 기반 리팩터링 비용 추정
AI 에이전트 도입 시 API 예산 수립
인간 개발자 대비 LLM 생성 코드의 경제성 비교

언급된 리소스

GitHubscc GitHub Repository