본문으로 건너뛰기

Token Compression

토큰 압축

모델이 처리해야 할 데이터 단위인 토큰의 수를 줄여 연산 속도를 높이고 메모리 사용량을 최적화하는 기술이다.