LLM 가격 책정의 숨겨진 언어세: BPE 토큰화가 만드는 체계적 가격 불평등

현재 LLM의 표준 과금 단위인 토큰은 1994년 데이터 압축을 위해 설계된 BPE(Byte Pair Encoding) 알고리즘에 기반한다. BPE는 학습 데이터 내 출현 빈도가 높은 문자열을 짧은 토큰으로 병합하는데, 대다수 모델의 학습 데이터가 영어에 편중되어 있어 비영어권 언어는 동일한 의미를 전달할 때 훨씬 더 많은 토큰을 생성한다. 연구 결과에 따르면 스페인어는 영어 대비 1.6배, 힌디어는 4.9배의 비용이 발생하며, 이는 단순한 비용 문제를 넘어 모델의 유효 컨텍스트 윈도우 크기와 출력 품질까지 저하시키는 결과를 초래한다. 이러한 '언어세'는 기술적 경로 의존성과 공급자의 수익 구조 문제로 인해 쉽게 해결되지 않고 있으며, 업계 전반의 투명한 지표 공개와 과금 체계 개선이 요구되는 시점이다.