본문으로 건너뛰기

Batching

배칭

여러 개의 작은 작업을 하나의 큰 요청으로 묶어서 처리하는 기법입니다. 매번 컨텍스트를 새로 불러오는 오버헤드를 줄여주어 토큰 소모를 최적화하고 일관된 결과를 얻게 합니다.