SLM 도입 적합성 판단을 위한 코드베이스 오디트 프롬프트

섹션별 상세

SLM 오디트 프롬프트는 코드베이스 내에서 SLM으로 대체 가능한 지점과 SLM이기에 가능한 새로운 제품 기회를 식별하는 것을 목표로 한다.

text

# SLM Audit (Max 4 Recommendations)
You are auditing this codebase to identify where Small Language Models (SLMs) should be used.
Your goals:
1. Identify existing LLM calls that should be replaced with SLMs.
2. Identify new high-impact AI features enabled by dramatically cheaper, lower-latency SLM inference.

## Step 1 — Scan for LLM Usage
Find all LLM calls (OpenAI, Anthropic, Gemini, Vercel AI SDK, LiteLLM, direct HTTP, internal wrappers).
For each call, briefly note:
* File path
* Model used
* Task type (summarization, classification, extraction, etc.)
* Frequency (approximate)
* Latency sensitivity
* Structured output? (yes/no)
* Logprobs? (yes/no)

코드베이스 내 LLM 사용 현황을 스캔하고 SLM 전환 가능성을 평가하기 위한 시스템 프롬프트

첫 번째 단계인 LLM 사용 현황 스캔에서는 OpenAI, Anthropic, Gemini 등 다양한 SDK와 API 호출을 찾아 파일 경로, 모델 종류, 작업 유형(요약, 분류, 추출 등), 빈도, 지연 시간 민감도를 기록한다.

두 번째 단계에서는 수집된 정보를 바탕으로 최대 4개의 핵심 추천 항목을 선정하며, 특히 호출 빈도가 높고 지연 시간에 민감한 분류나 데이터 추출 작업에 우선순위를 둔다.

각 추천 항목에는 기능명, 대체 또는 신규 여부, 제품 내 위치, SLM이 적절한 이유, 예상 처리량 및 비용·지연 시간 측면의 기대 효과를 포함하여 구체적인 의사결정 근거를 제시한다.

용어 해설

소형 언어 모델(SLM): — 대형 언어 모델(LLM)보다 파라미터 수가 적은 모델로, 특정 작업에 최적화되어 낮은 비용과 빠른 추론 속도를 제공한다. 온디바이스 환경이나 지연 시간에 민감한 서비스에서 효율적이다.
구조화된 출력(Structured Output): — AI 모델이 JSON이나 XML과 같이 정해진 형식에 맞춰 데이터를 생성하는 방식이다. 데이터 추출이나 API 연동 등 후속 프로그래밍 처리가 필요한 작업에서 필수적이다.
로그 확률(Logprobs): — 모델이 각 토큰을 생성할 때 부여하는 로그 단위의 확률값이다. 모델의 답변에 대한 확신도를 측정하거나 특정 후보군 중에서 선택을 강제할 때 활용된다.
지연 시간 민감도(Latency Sensitivity): — 사용자 경험이나 시스템 성능이 응답 속도에 얼마나 큰 영향을 받는지 나타내는 척도이다. 실시간 챗봇이나 인터랙티브 도구에서 SLM 도입의 주요 결정 요인이 된다.

기술

Claude Code
OpenAI API
Anthropic API
Vercel AI SDK
LiteLLM

활용 사례

코드베이스 내 LLM 호출 최적화
저비용 AI 기능 발굴
실시간 데이터 추출 및 분류 시스템 구축