토큰 압축
모델이 처리해야 할 데이터 단위인 토큰의 수를 줄여 연산 속도를 높이고 메모리 사용량을 최적화하는 기술이다.
CLIP 대신 LLM을 비전 인코더로? 텐센트의 혁신적 VLM PenguinVL
LLM 컨텍스트 70% 절감, Rust 기반 시맨틱 압축 도구 imptokens
코드 두 줄로 LLM 비용 60% 절감? 프롬프트 전용 압축 API 등장