tokenizer-efficiency
토크나이저 효율성
토크나이저 효율성은 동일 텍스트를 표현할 때 생성되는 토큰 수의 정도를 뜻하며, 한국어에서 토큰 수를 절감하면 추론 비용과 실효적 컨텍스트 길이를 모두 늘릴 수 있으므로 Solar Open 2의 한국어 최적화 토크나이저는 운영 비용에 직접적인 영향을 미친다.
토크나이저 효율성
토크나이저 효율성은 동일 텍스트를 표현할 때 생성되는 토큰 수의 정도를 뜻하며, 한국어에서 토큰 수를 절감하면 추론 비용과 실효적 컨텍스트 길이를 모두 늘릴 수 있으므로 Solar Open 2의 한국어 최적화 토크나이저는 운영 비용에 직접적인 영향을 미친다.
