이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
AI 비용은 모델의 토큰당 가격보다 한 작업을 끝내기까지 실제로 소비하는 토큰량에 더 크게 좌우됩니다. Snowflake의 실험에서는 100만 행 처리 결과가 비슷한데도 frontier model이 소형 open-weight model보다 59배 비쌌고, Databricks의 실험에서는 값싼 모델이 반복 실패와 재시도로 더 높은 작업당 비용을 냈습니다. WRITER와 Databricks의 결과는 Prompt, 도구 호출, 연결 데이터, 반복 루프를 관리하는 harness가 모델 선택보다 비용을 크게 바꿀 수 있음을 시사합니다. 따라서 기업은 가장 똑똑한 모델 하나를 고르기보다 작업별 속도·비용·품질을 조정하는 harness를 먼저 구축하고, 필요할 때 model routing을 결합해야 합니다.
섹션별 상세
AI 서비스 비용을 줄이려면 모델의 토큰당 가격과 작업당 토큰 소비를 분리해서 봐야 합니다. Snowflake는 100만 행에 하나의 작업을 수행하면서 frontier model과 소형 저가 open-weight model을 비교했고, 결과가 동등했지만 비용은 약 $52,000 대 $900으로 59배 차이가 났습니다. 작업이 단순해 두 모델이 한 번에 비슷한 정확도에 도달하면 요금표의 단가가 최종 비용을 결정하므로, 복잡하지 않은 분류 작업에는 저가 모델이 적합합니다.
Databricks의 결과는 저렴한 모델을 무조건 선택하는 전략이 실패할 수 있음을 보여줍니다. 모델은 답을 내기 전 여러 차례 실패하거나 재시도할 수 있고, 각 시도마다 입력과 출력 토큰이 추가로 청구되기 때문에 단가가 낮아도 작업당 비용이 커집니다. Databricks의 자체 coding work 실험에서는 Anthropic의 저가 Sonnet 5가 더 비싼 Opus 4.8보다 품질 점수가 낮으면서 작업당 비용도 높았고, 이는 복잡한 문제에서 한 번에 답을 찾는 고성능 모델이 오히려 경제적일 수 있음을 뜻합니다.
기업 전체의 작업마다 적절한 모델을 자동으로 고르려면 여러 모델을 측정하고 요청을 분배하는 routing 계층이 필요합니다. OpenRouter는 80개 제공업체의 400개가 넘는 모델에 접근하면서 작업별 최적화를 맡기는 gateway를 구축했고, Stripe는 이를 70억 달러가 넘는 금액에 인수했습니다. 그러나 마케팅 조직이 여러 모델을 교체해 쓰려면 Agent의 memory와 context, 브랜드 문체 규칙, audit trail, 접근 권한을 함께 유지해야 하므로 routing만으로는 고객 접점의 안전성과 일관성을 보장하기 어렵습니다.
실제 비용을 움직이는 핵심 계층은 모델을 둘러싼 harness입니다. Harness는 Prompt, 호출 가능한 도구, 연결된 데이터와 서비스, 각 반복 단계에서 전송할 정보를 결정하며, Agent가 도구를 호출하고 결과를 읽은 뒤 다시 실행하는 loop의 왕복 횟수와 문맥 크기를 관리합니다. Databricks는 같은 모델을 서로 다른 harness에 넣었을 때 품질이 같아도 비용이 두 배 이상 달라졌고, WRITER는 22개 작업과 6개 모델을 대상으로 토큰 효율형 harness가 시간과 비용을 모두 40% 넘게 줄이는 결과를 얻었습니다.
용어 해설
- 토큰 예산(Token Budget)
- — AI 모델 사용 과정에서 입력과 출력에 소비되는 토큰 수를 비용 단위로 관리하는 개념입니다. 모델별 토큰 단가뿐 아니라 한 작업을 완료할 때 필요한 반복 호출과 전체 토큰량까지 함께 계산해야 실제 비용을 파악할 수 있습니다.
- 하네스(Harness)
- — AI 모델을 둘러싼 Prompt, 호출 가능한 도구, 연결된 데이터와 서비스, 작업별 전송 규칙을 묶은 실행 계층입니다. Agent가 반복 호출하는 동안 어떤 정보를 매번 넣고 뺄지 결정해 품질과 토큰 비용을 좌우합니다.
- 모델 라우팅(Model Routing)
- — 작업의 난이도와 요구 품질에 맞춰 여러 AI 모델 가운데 적합한 모델로 요청을 보내는 방식입니다. 단순한 작업에는 저렴한 모델을, 복잡한 작업에는 강력한 모델을 배정해 작업당 비용과 결과 품질의 균형을 맞춥니다.
- 요금표(Rate Card)
- — AI 제공업체가 모델의 입력·출력 토큰당 가격을 공개한 기준표입니다. 같은 작업이라도 모델이 반복 시도하거나 긴 문맥을 매번 처리하면 요금표의 단가보다 실제 작업당 비용이 훨씬 커질 수 있습니다.
- 하네스 레버리지(Harness Leverage)
- — 동일한 모델이라도 하네스의 실행 방식과 문맥 관리 수준에 따라 비용 절감 효과가 커지는 현상을 가리킵니다. WRITER의 실험에서는 강력한 모델일수록 토큰 효율형 하네스를 적용했을 때 절감 폭이 함께 커졌습니다.
기술
- Snowflake
- Databricks
- Anthropic
- Sonnet 5
- Opus 4.8
- OpenRouter
- Stripe
- WRITER
활용 사례
- 100만 행 데이터 분류
- 고객 지원 티켓 분류
- 기업용 Agent의 반복 작업 자동화
- 마케팅 콘텐츠 생성과 브랜드 문체 관리
- AI 작업별 비용·속도·품질 최적화
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 09. 01.수집 2026. 09. 01.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
