챕터별 상세
03:48
Messages API 형식과 4가지 역할
LLM과의 대화는 단순 텍스트가 아닌 구조화된 메시지 배열로 전달된다. Anthropic의 Claude 모델은 System, User, Assistant, Tool_Result라는 4가지 명확한 역할을 구분하여 사용한다. System 프롬프트는 모델의 정체성과 규칙을 정의하며 가장 높은 우선순위를 가진다. Assistant 역할은 모델의 이전 응답을 저장하여 상태가 없는 LLM에 기억의 환상을 부여하는 역할을 수행한다.
LLM은 기본적으로 Stateless(상태 비저장) 방식이므로 이전 대화 내용을 Assistant 역할로 다시 주입해야 문맥 유지가 가능하다.
19:05
토큰의 개념과 유형별 토큰화 차이
토큰은 모델이 텍스트를 처리하는 최소 단위이며, 일반적으로 1토큰은 영어 기준 약 4글자 또는 0.75단어에 해당한다. 텍스트 유형에 따라 토큰화 효율이 달라지는데, 일반 영어 문장은 글자 수 대비 토큰 수가 적지만 소스 코드나 JSON 형식은 특수 기호가 많아 토큰 소모량이 급격히 증가한다. 예를 들어 1,000자의 일반 텍스트는 약 250토큰이지만, 동일한 길이의 JSON은 약 555토큰을 소모하여 비용이 2배 이상 발생할 수 있다.
Byte Pair Encoding(BPE)과 같은 서브워드 토큰화 알고리즘이 현대 LLM에서 주로 사용된다.
31:01
컨텍스트 윈도우의 제약과 관리 전략
컨텍스트 윈도우는 입력과 출력을 합산한 토큰 제한을 의미하며, 이를 초과하면 API 요청이 실패한다. Claude 3 모델의 경우 약 200,000 토큰의 윈도우를 제공하지만 대화가 길어지면 이 공간은 빠르게 소모된다. 특히 'Lost in the Middle' 현상으로 인해 모델은 컨텍스트의 중간 부분 정보를 놓치는 경향이 있다. 따라서 중요한 지침은 프롬프트의 시작 부분에 배치하고, 오래된 대화는 요약하거나 압축하여 공간을 확보하는 전략이 필요하다.
컨텍스트가 가득 차기 전에 대화 이력을 요약(Summarization)하거나 슬라이딩 윈도우 기법을 적용해야 한다.
43:30
토큰 카운터 및 메시지 빌더 구현
실제 애플리케이션에서 비용을 추적하고 제한을 관리하기 위해 토큰 카운터를 구현했다. 텍스트 유형별(Text, Code, JSON) 글자 수 대비 토큰 비율을 상수로 정의하여 API 호출 전 토큰 사용량을 추정한다. 구현된 시스템은 입력 토큰과 출력 토큰을 각각 기록하며, 모델별 가격 정책을 적용해 예상 비용을 실시간으로 계산한다. 이를 통해 개발자는 컨텍스트 윈도우의 사용률을 퍼센트 단위로 모니터링하며 안정적인 에이전트를 구축할 수 있다.
정확한 토큰 수는 API 응답의 usage 필드에서 확인 가능하지만, 요청 전 추정치를 계산하는 로직이 예산 관리에 유용하다.
용어 해설
- 토큰화(Tokenization)
- — 텍스트를 모델이 처리할 수 있는 최소 단위인 토큰으로 분할하는 과정이다. LLM은 단어 자체가 아닌 숫자로 변환된 토큰 뭉치를 입력받아 연산을 수행하며, 토큰화 방식에 따라 모델의 이해도와 비용이 결정된다.
- 컨텍스트 윈도우(Context Window)
- — 모델이 한 번에 처리하고 기억할 수 있는 최대 토큰의 양을 의미한다. 입력 프롬프트와 출력 응답의 합이 이 제한을 넘으면 이전 대화 내용이 유실되거나 오류가 발생하므로 효율적인 관리가 필수적이다.
- 중간 정보 유실 문제(Lost in the Middle)
- — LLM이 긴 컨텍스트의 시작과 끝 부분 정보는 잘 기억하지만, 중간에 위치한 정보는 제대로 활용하지 못하는 현상이다. 이를 해결하기 위해 중요한 지침은 프롬프트의 앞부분에 배치하는 전략이 권장된다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 04. 24.수집 2026. 04. 24.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
