작업 인식 지식 압축(TAKC)으로 대규모 문서 기반 RAG 한계 극복

수백 건에 달하는 이질적 문서에서 교차문서 연관성을 요하는 분석에서는 전통적 RAG의 유사도 검색이 관련 정보를 포착하지 못하는 한계가 발생했다. TAKC는 LLM으로 문서를 과제별로 사전 압축해 동일 지식베이스의 문서를 함께 참조함으로써 문서 간 연결을 보존하고 질의 시 압축 표현을 조회해 응답을 생성한다. 운영에서는 문서당 과제별 오프라인 압축과 프롬프트 버전 관리를 통해 재현성과 감사성을 확보하며 압축은 일반적으로 토큰 수를 8배에서 64배까지 줄이는 것으로 제시된다. 다단계 압축 등급과 쿼리 복잡도 분석기로 간단 질의에는 경량 등급을, 복잡한 교차문서 분석에는 상세 등급을 제공함으로써 응답 정확도와 비용·지연의 트레이드오프를 조절할 수 있다.