chunk
정보 처리나 학습의 효율성을 높이기 위해 큰 데이터를 의미 있는 작은 단위로 나눈 덩어리를 말한다. LLM 기반 서비스에서는 컨텍스트 윈도우 제한이나 처리 효율을 위해 텍스트를 적절한 크기로 분할하는 과정에서 자주 사용된다.
정보 처리나 학습의 효율성을 높이기 위해 큰 데이터를 의미 있는 작은 단위로 나눈 덩어리를 말한다. LLM 기반 서비스에서는 컨텍스트 윈도우 제한이나 처리 효율을 위해 텍스트를 적절한 크기로 분할하는 과정에서 자주 사용된다.