Input Compression

모델에 전달하는 prompt의 일부를 줄여 입력 토큰을 압축하는 방법입니다. 입력 비용은 줄어들 수 있지만, 이 연구에서는 모델이 생략된 정보를 보충하려고 더 긴 답변을 생성해 전체 비용과 정확도가 악화되는 결과가 나타났습니다.