token-space

LLM이 한 번의 추론 과정에서 처리할 수 있는 데이터의 양적 한계 또는 컨텍스트 윈도우를 의미한다. 대규모 코드베이스나 문서를 다룰 때 모든 데이터를 토큰 공간에 넣으면 비용이 급증하고 성능이 저하된다. mlld는 필요한 데이터만 선별하여 토큰 공간을 효율적으로 사용하도록 돕는다.