RAG보다 먼저 컨텍스트를 줄여라

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

지식 집약적 작업의 품질 저하가 항상 검색 실패에서 비롯되는 것은 아니며, 느슨하게 관련된 자료를 과도하게 넣는 컨텍스트 큐레이션 실패가 원인일 수 있다. RAG는 검색된 정보가 컨텍스트에 들어갔다는 사실을 보장하지만, 여러 청크 중 특정 질문의 핵심 자료를 고르는 과정까지 해결하지 못한다. 법률 문서나 대규모 코드베이스처럼 자료가 크고 자주 변해 컨텍스트에 필요한 부분을 담기 어려운 경우에는 RAG가 적합하지만, 그 밖의 내부 도구와 제품 기능에서는 먼저 자료를 구조적으로 줄이는 편이 더 직접적인 접근이다.

실용적 조언

RAG를 추가하기 전에 특정 질문 유형에 직접 필요한 원자료만 남기도록 컨텍스트를 줄이고, 관련성의 기준을 작업별로 정해야 한다. 검색 결과가 다섯 개의 청크처럼 여러 후보로 구성될 때는 각 청크의 중요도를 모델이 판단할 수 있도록 입력 구조와 우선순위를 함께 설계해야 한다. 이후에도 컨텍스트에 담을 수 없는 규모와 변경 빈도가 남아 있을 때 RAG 도입을 검토하는 순서가 적절하다.

섹션별 상세

지식이 많이 필요한 작업에서 출력 품질이 떨어지면 팀은 흔히 vector database와 RAG를 먼저 추가하지만, 글쓴이는 문제의 상당수가 검색 실패가 아니라 자료 선별 실패라고 본다. 모델에 지식이 부족한 것이 아니라 느슨하게 관련된 자료가 과도하게 들어오고, 무엇을 더 중요하게 봐야 하는지 알려주는 구조가 없다는 판단이다. 따라서 검색은 정답 후보를 늘릴 뿐 입력 정보의 우선순위를 정하는 병목까지 해결하지 못한다.

RAG를 넣은 뒤 사실이 컨텍스트 안에 존재한다는 의미의 근거성은 높아져도 답변이 구체성을 잃는 현상이 문제의 신호로 제시된다. 검색된 다섯 개의 청크가 모두 맞는 내용이어도 특정 질문에서 어떤 청크가 핵심인지 모델이 구분하지 못하면 답변은 모호해진다. 이 경우 검색 범위를 확장하는 대신 질문별로 관련성의 기준을 정하고 입력 자료의 구조를 먼저 정리해야 한다.

RAG가 복잡성을 감수할 만한 경우는 법률 문서 검색이나 대규모 코드베이스처럼 자료 규모가 크고 자주 바뀌어, 강한 큐레이션을 거쳐도 관련 부분을 모델 컨텍스트에 담기 어려운 상황이다. 반대로 많은 내부 도구와 제품 기능에서는 작업에 구조적으로 맞는 원자료를 모델에 보내기 전에 줄이는 방식이 더 직접적인 해법이 될 수 있다. 팀이 이 단계를 건너뛰는 이유로는 데이터 자체를 검토해야 하는 부담과 이미 마련된 검색 도구를 적용하기 쉬운 관성이 꼽힌다.

글쓴이는 RAG를 항상 잘못된 선택으로 보지 않고, 검색 이전 단계에 병목이 있는데도 기본값처럼 도입하는 관행을 비판한다. 더 나은 컨텍스트 큐레이션만으로 해결되지 않았던 품질 문제를 RAG가 측정 가능하게 개선한 사례가 있다면 공유해 달라고 요청한다. 다만 본문에는 특정 프로젝트의 수치나 재현 실험 결과가 없어, 결론은 경험적 검증보다 설계 원칙에 가깝다.

용어 해설

검색 증강 생성(RAG): — RAG는 외부 문서를 검색한 뒤 관련 내용을 모델 입력의 컨텍스트에 넣어 답변을 생성하는 방식이다. 지식 범위를 넓히는 데 유용하지만, 검색 결과의 우선순위와 구조를 정하지 않으면 관련 정보가 과도하게 들어가 답변의 초점이 흐려질 수 있다.
벡터 데이터베이스(Vector Database): — 벡터 데이터베이스는 문서나 문장을 임베딩 벡터로 저장하고 질문과의 유사도를 기준으로 관련 자료를 검색하는 저장소다. 이 글에서는 지식 집약적 작업의 품질 저하에 대응하는 기본 선택지로 자주 쓰이지만, 자료 선별 자체를 대신하지는 못하는 도구로 평가된다.
컨텍스트 구조화(Context Structuring): — 컨텍스트 구조화는 모델 입력에 들어갈 정보의 범위와 배열, 상대적 중요도를 작업별로 정하는 과정이다. 검색으로 정답 후보를 늘리는 것과 달리, 어떤 자료가 특정 질문에서 핵심인지 판단할 수 있도록 입력을 정리해 모델의 선택 부담을 줄이는 데 초점이 있다.
컨텍스트 큐레이션(Context Curation): — 컨텍스트 큐레이션은 원자료를 모델에 전달하기 전에 작업과 직접 관련된 내용만 골라내고 중요도를 조정하는 방법이다. 글에서는 RAG를 추가하기 전에 자료를 구조적으로 축소하는 upstream 단계의 개선책으로 제시되며, 검색 인프라보다 작지만 실제 병목에 가까운 해결책으로 평가된다.

언급된 도구

vector database비추천

문서와 지식 자료를 검색해 모델 컨텍스트에 공급하는 저장소로 거론되지만, 자료의 중요도 선별과 구조화 자체를 대신하지는 못한다.