문맥 내재화
외부 문서나 대화 기록과 같은 컨텍스트 정보를 모델의 파라미터 가중치 내부로 직접 주입하는 기법이다. 추론 시마다 긴 문서를 프롬프트에 포함할 필요가 없어 메모리 사용량을 극적으로 줄이며 문맥 창 크기 제한을 극복한다.
12GB 메모리를 50MB로? Sakana AI의 혁신적 LLM 최적화 기법