token-estimation
토큰 추정
AI 모델이 처리할 텍스트의 양(토큰)을 미리 계산하는 작업이다. 컨텍스트 윈도우 제한 내에서 효율적으로 작업을 분배하고 비용을 관리하기 위해 프로젝트를 작은 단위로 쪼개는 과정에서 필수적으로 수행된다.
토큰 추정
AI 모델이 처리할 텍스트의 양(토큰)을 미리 계산하는 작업이다. 컨텍스트 윈도우 제한 내에서 효율적으로 작업을 분배하고 비용을 관리하기 위해 프로젝트를 작은 단위로 쪼개는 과정에서 필수적으로 수행된다.
