JSON 대비 토큰을 48% 절감하는 LLM 최적화 데이터 포맷 LEAN 공개

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

JSON의 구조적 오버헤드를 줄여 토큰 사용량을 평균 48.7% 절감하면서도 데이터 손실과 모델 이해도는 유지하는 새로운 직렬화 포맷 LEAN이 공개됐다.

LLM 프롬프트에 구조화된 데이터를 넣을 때 JSON의 반복되는 키와 문법 기호가 컨텍스트 윈도우를 낭비하는 문제를 해결하기 위해 LEAN이라는 효율적인 표기법을 개발하여 공유했다.

이 토론을 통해 LLM 애플리케이션에서 데이터 포맷 최적화가 단순한 비용 절감을 넘어 모델의 유효 성능을 높이는 핵심 요소임이 확인됐다. LEAN과 같은 무손실 압축 포맷은 특히 컨텍스트가 제한적인 환경에서 표준 JSON의 강력한 대안이 될 것으로 보인다.

대체로 긍정적이며, 특히 컨텍스트 제한이 엄격한 로컬 모델 사용자들에게 실질적인 도움이 될 것이라는 평가를 받고 있다.

01찬성다수

JSON의 오버헤드가 LLM 비용과 성능에 악영향을 미치므로 LEAN과 같은 효율적인 포맷 도입이 필수적이다.

JSON 포맷이 가진 구조적 한계로 인해 컨텍스트 윈도우가 낭비되는 문제를 지적했다. JSON은 객체 배열에서 키 이름을 반복하고 따옴표, 중괄호, 쉼표 등의 문법 기호를 과도하게 사용하여 실제 데이터보다 구문 자체에 많은 토큰을 소모한다.

LEAN 포맷은 공유 키를 헤더로 분리하고 탭 구분 행 방식을 사용하여 토큰 효율을 극대화했다. 중첩된 스칼라 값은 점 경로(dot path)로 평탄화하고, 불필요한 따옴표를 제거하며, 불리언 값과 null을 T/F/_와 같은 단일 문자로 치환하여 인코딩한다.

12개의 데이터셋을 대상으로 벤치마크를 수행한 결과 JSON Compact 대비 평균 48.7%의 토큰 절감 효과를 확인했다. 이는 ZON(-47.8%), TOON(-40.1%), ASON(-39.3%) 등 기존의 다른 효율적 포맷들과 비교해도 가장 높은 수치이다.

모델의 데이터 이해도 측면에서도 JSON과 동일한 수준의 정확도를 유지함을 입증했다. 15개의 금융 거래 데이터에 대해 조회, 산술, 필터링 등 15개의 질문을 테스트한 결과 JSON과 LEAN 모두 93.3%의 동일한 정확도를 기록했다.

LEAN추천링크

LLM 효율적 적응형 표기법 (데이터 직렬화)

LEAN Playground추천링크

JSON을 LEAN 및 TOON으로 변환하고 토큰 수를 비교하는 웹 도구