오프라인에서 작동하는 제로 지식 토큰 카운터, Offtoco 공개

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

GPT, Claude, Gemini의 토큰 수를 로컬 환경에서 안전하게 계산하는 오픈소스 도구 Offtoco를 개발하여 공개했다.

온라인 토큰 카운터 사용 시 프롬프트 데이터가 외부 서버로 전송되는 보안 문제를 해결하기 위해, 인터넷 연결 없이 로컬에서 작동하는 토큰 카운터 Offtoco를 구축했다.

로컬 환경에서의 토큰 계산은 프라이버시 보호를 위한 필수적인 대안이다. 특히 브라우저 호환성 문제를 해결한 순수 JS 기반 구현 방식은 향후 유사한 웹 도구 개발에 실무적인 참고 사례가 된다.

작성자는 온라인 토큰 카운터의 데이터 보안 문제를 해결하기 위해 오프라인 전용 도구인 Offtoco를 개발했다. 이 도구는 GPT, Claude, Gemini의 토큰 수를 로컬 환경에서 계산하며, API 호출이나 원격 서버 통신을 전혀 수행하지 않는다.

Claude 토크나이저의 WASM 바이너리가 브라우저에서 차단되는 문제를 해결하기 위해, 작성자는 원시 BPE 어휘를 추출하여 순수 JS 엔진에서 실행하는 방식을 채택했다. 이를 통해 WASM 없이도 GPT와 동일한 수준의 정확도로 토큰 계산이 가능하다.

Offtoco는 웹 앱, CLI, 윈도우 데스크톱 앱 등 세 가지 형태로 제공된다. 특히 윈도우 버전은 탐색기 우클릭 통합 기능을 지원하여 파일의 토큰 수를 즉시 확인할 수 있도록 설계되었다.

Offtoco추천

로컬 토큰 카운터