tokid: LLM 시스템을 위한 토큰 최적화 고유 식별자

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

tokid는 식별자가 프롬프트, 도구 호출, JSON 페이로드 등을 자주 통과하는 LLM 중심 시스템을 위해 설계된 토큰 네이티브 ID 포맷입니다. 기존 UUID나 ULID가 토크나이저 관점에서 불필요하게 많은 토큰을 소모한다는 점에 착안하여, 토크나이저가 단일 토큰으로 인식하기 쉬운 단어(atoms)들의 조합으로 ID를 생성합니다. 하나의 ID를 용도에 따라 프롬프트용, 전송용, 저장용(envelope)의 세 가지 형태로 변환하여 사용할 수 있으며, 이를 통해 토큰 비용을 획기적으로 줄입니다. 현재 JavaScript, Python, Go, Rust 등 주요 언어를 위한 SDK를 지원하며 OpenAI 토크나이저에 최적화된 프로필을 제공합니다.

배경

LLM 토크나이저(Tokenizer) 및 토큰 비용 구조에 대한 이해, UUID, ULID 등 기존 식별자 체계에 대한 기본 지식

대상 독자

LLM 에이전트, 워크플로우 시스템 개발자 및 토큰 비용 최적화가 필요한 AI 엔지니어

의미 / 영향

이 기술은 대규모 LLM 시스템에서 무시되던 식별자 토큰 비용을 체계적으로 관리할 수 있는 표준을 제시합니다. 특히 수많은 객체 ID를 컨텍스트에 포함해야 하는 RAG나 멀티 에이전트 시스템의 운영 비용을 낮추는 실질적인 도구가 될 것입니다.

섹션별 상세

기존 식별자 라이브러리들이 문자열 길이나 정렬 순서에 집중하는 것과 달리 tokid는 오직 토크나이저 비용 최적화에 집중합니다. UUID v4가 약 18~22개의 토큰을 소모할 때 tokid의 프롬프트 형태는 단 8개의 토큰만 사용하여 비용과 컨텍스트 점유율을 절반 이하로 낮춥니다. 이는 식별자가 모델의 입출력에 반복적으로 등장하는 에이전트나 워크플로우 시스템에서 큰 누적 절감 효과를 가져옵니다.

하나의 논리적 ID를 세 가지 렌더링 형태로 분리하여 각 상황에 맞는 최적의 효율을 제공합니다. 모델이 직접 읽는 'prompt' 형태는 공백으로 구분된 단어를 사용하여 토큰을 아끼고, 시스템 간 전달을 위한 'transport' 형태는 공백을 제거하여 구조화된 데이터 내 안전성을 확보합니다. 마지막으로 'envelope' 형태는 체크섬과 프로필 정보를 포함하여 데이터의 내구성과 검증 가능성을 보장하는 외장형 래퍼 역할을 수행합니다.

text

prompt: straight course shirt height alter outer rapid verse
transport: straightcourseshirtheightalterouterrapidverse
envelope: tk1_oa1_straightcourseshirtheightalterouterrapidverse_1oze8

하나의 논리적 tokid가 프롬프트용, 전송용, 봉투형의 세 가지 형태로 렌더링되는 예시

OpenAI의 cl100k_base 및 o200k_base 토크나이저를 분석하여 구축된 전용 프로필을 통해 높은 호환성을 제공합니다. 현재 제공되는 openai-cross-v1 프로필은 구분자 없이도 디코딩이 가능한 접두사 없는 어휘 세트를 사용하여 전송 효율을 극대화했습니다. 이를 통해 단순한 무작위 문자열보다 훨씬 적은 토큰으로도 충분한 엔트로피(약 84~86비트)를 확보할 수 있음을 입증했습니다.

단순한 라이브러리를 넘어 다국어 SDK 지원과 엄격한 적합성 테스트를 통해 시스템 간 일관성을 유지합니다. JavaScript, Python, Go, Rust 등 다양한 환경에서 동일한 프로필과 매니페스트를 공유하며, 공유 픽스처 세트를 통해 모든 SDK가 동일한 생성 및 검증 로직을 따르도록 설계되었습니다. 이는 마이크로서비스 아키텍처에서 서로 다른 언어로 작성된 컴포넌트들이 동일한 토큰 최적화 ID를 안전하게 교환할 수 있게 합니다.

실무 Takeaway

에이전트 시스템이나 MCP 도구처럼 ID가 프롬프트에 자주 노출되는 환경에서 tokid를 사용하면 UUID 대비 토큰 비용을 50% 이상 절감할 수 있다.
ID를 저장할 때는 정보가 포함된 envelope 형태를 사용하고, 모델에게 전달할 때만 prompt 형태로 변환하여 제공함으로써 데이터 안정성과 비용 효율을 동시에 잡을 수 있다.
단순히 문자열 길이를 줄이는 것보다 토크나이저가 인식하는 토큰 단위를 고려한 식별자 설계가 LLM 애플리케이션의 성능과 비용에 더 큰 영향을 미친다.

언급된 리소스

GitHubtokid GitHub Repository