JSON-io: LLM 토큰을 40% 절감하는 Java용 TOON 포맷 지원 라이브러리

섹션별 상세

기존 JSON 포맷은 구조를 나타내는 기호가 많아 LLM 처리 시 불필요한 토큰을 대량으로 소모한다. TOON은 이러한 기호를 제거하고 들여쓰기 기반의 구조를 채택하여 토큰 효율을 높였다.

TOON은 배열 내의 균일한 객체들을 자동으로 CSV와 유사한 테이블 형태로 변환하여 표현한다. 이를 통해 반복되는 키(Key) 이름을 생략하고 데이터 값만 나열함으로써 컨텍스트 윈도우를 획기적으로 절약한다.

text

JSON: {"team":"Rockets","players":[{"name":"John","age":30},{"name":"Sue","age":27}]}
TOON: 
team: Rockets 
players: 
  name, age 
  John, 30 
  Sue, 27

JSON 포맷과 토큰 효율적인 TOON 포맷의 데이터 구조 비교 예시

Java 라이브러리인 JSON-io는 JSON, JSON5와 함께 TOON 포맷의 읽기 및 쓰기를 지원한다. 60개 이상의 Java 타입을 기본 지원하며 순환 참조 처리 및 설정 없는 즉시 사용 기능을 제공한다.

Spring Boot 스타터와 Spring AI 모듈을 제공하여 실제 LLM 서비스 파이프라인에 쉽게 통합할 수 있다. 이는 개발자가 기존 인프라를 크게 변경하지 않고도 토큰 비용을 절감할 수 있는 실질적인 경로를 제공한다.

용어 해설

토큰(Token): — LLM이 텍스트를 처리하는 기본 단위로, 단어의 일부나 문장 부호를 포함한다. 토큰 수가 많을수록 API 비용이 증가하고 컨텍스트 윈도우를 더 많이 점유하므로 최적화가 중요하다.
컨텍스트 윈도우(Context Window): — LLM이 한 번에 처리하고 기억할 수 있는 최대 토큰 범위이다. 데이터 포맷을 효율화하여 토큰을 줄이면 제한된 윈도우 내에 더 많은 정보를 담을 수 있다.
직렬화(Serialization): — 메모리 상의 객체 데이터를 JSON이나 TOON 같은 전송 가능한 텍스트 형식으로 변환하는 과정이다. 효율적인 직렬화는 데이터 크기와 처리 속도에 직접적인 영향을 미친다.
JSON5: — 기존 JSON의 엄격한 문법을 완화하여 주석 사용, 따옴표 생략, 마지막 쉼표 허용 등을 지원하는 확장된 데이터 포맷이다.

기술

json-io
TOON
JSON5
Spring Boot
Spring AI
Java

활용 사례

LLM 토큰 비용 절감
컨텍스트 윈도우 최적화
Java 백엔드 데이터 직렬화
Spring AI 기반 에이전트 개발

언급된 리소스

GitHubjson-io GitHub Repository

문서TOON Specification

튜토리얼Baeldung Article on Java JSON/TOON Libraries