토큰화
텍스트 데이터를 모델이 처리할 수 있는 최소 단위인 토큰으로 분리하는 과정이다. 단어, 부분 단어, 또는 문자 단위로 쪼개어 수치화된 벡터로 변환하는 전처리 단계로, 모델의 어휘 사전 크기와 효율성에 직접적인 영향을 미친다.
LLM API로 유출되는 민감 데이터, 프록시와 토큰화로 해결한다
LLM 내부 구조를 파헤친 4,000자 논문: 수식부터 벤치마크까지
멀티 에이전트 토큰 낭비 끝? KV-캐시 직접 전송으로 4배 빨라진다
컨텍스트 윈도우가 커져도 RAG가 필수인 이유: 비용 90% 절감의 비밀
토큰화부터 추론까지 한눈에 확인하는 GPT 작동 원리 시각화