챕터별 상세
00:00
청킹의 중요성과 현재의 한계
RAG 시스템에서 청킹은 검색 성공 여부를 결정짓는 핵심 요소임에도 불구하고 업계에서 가장 덜 논의되는 주제 중 하나이다. 현재 대부분의 시스템은 OpenAI나 Google이 기본으로 사용하는 500토큰 내외의 고정된 슬라이딩 윈도우 방식을 채택하고 있다. 하지만 이러한 방식은 질문의 성격에 따라 필요한 문맥의 양이 다르다는 점을 간과하며, 특정 크기에 고정될 경우 검색 성능에 명확한 한계가 존재한다.
청킹은 긴 텍스트를 모델이 처리할 수 있는 작은 단위로 나누는 과정이며, RAG에서는 이 단위가 검색의 최소 단위가 된다.
01:31
기존 청킹 기법의 문제점과 트레이드오프
고정된 윈도우 크기는 문맥(Context)과 세부 사항(Detail) 사이의 트레이드오프를 발생시킨다. 청크가 너무 크면 세부적인 정보가 희석되어 특정 질문에 대한 답변을 찾기 어렵고, 너무 작으면 문맥 정보가 소실되어 전체적인 의미 파악이 불가능해진다. 이를 해결하기 위해 문장이나 섹션 단위로 나누는 휴리스틱이나 계층적 구조를 만드는 Raptor, Anthropic의 Contextual Retrieval 등이 제안되었으나 여전히 데이터에 최적화된 단일 크기를 찾는 문제에서 자유롭지 못하다.
Contextual Retrieval은 각 청크에 전체 문서의 맥락 정보를 추가하여 소형 청크의 정보 손실을 보완하는 기법이다.
03:31
멀티 윈도우 청킹 아키텍처 제안
AI21 Labs는 동일한 말뭉치를 서로 다른 여러 윈도우 크기로 중복 인덱싱하는 멀티 윈도우 청킹 방식을 적용했다. 예를 들어 100토큰, 500토큰, 1000토큰 등 다양한 크기로 데이터를 각각 인덱싱하여 질문의 의도에 가장 적합한 크기의 청크가 검색될 수 있도록 설계했다. 이는 오프라인 인덱싱 단계에서 시간과 저장 공간을 더 투자하는 대신 온라인 검색 단계에서의 정확도를 극대화하는 전략이다.
이 방식은 전형적인 시간-메모리 트레이드오프 사례로, 인덱싱 비용을 늘려 검색 품질을 확보한다.
05:14
RRF를 활용한 검색 결과 통합 및 성능
각기 다른 크기의 인덱스에서 추출된 Top-K 결과들은 Reciprocal Rank Fusion(RRF) 알고리즘을 통해 하나의 순위로 통합된다. 각 청크는 부모 문서에 대한 투표권을 행사하는 방식으로 작동하며, 이를 통해 질문이 요구하는 정보의 밀도에 상관없이 최적의 문서를 찾아낸다. 실험 결과 MTEB, BEIR, FinanceBench 등 다양한 벤치마크에서 단일 윈도우 방식 대비 유의미한 성능 향상을 기록했다.
RRF는 여러 검색 알고리즘의 결과를 순위 기반으로 결합하여 점수 체계가 다른 검색 엔진 간의 결과를 공정하게 통합한다.
07:39
에이전트와 검색의 관계 및 향후 과제
고성능 AI 에이전트가 등장하더라도 데이터가 잘못된 방식으로 인덱싱되어 있다면 검색의 한계를 극복할 수 없다. 질문을 재구성(Query Rewriting)하거나 다양한 접근 방식을 시도해도 원본 데이터에서 필요한 정보가 청킹 과정에서 유실되었다면 답변 생성이 불가능하기 때문이다. 향후에는 문서 길이를 고려한 정교한 퓨전 로직 개발과 인덱싱 비용 최적화를 위한 임베딩 모델 차원 축소 연구가 진행될 예정이다.
Query Rewriting은 사용자의 질문을 검색에 더 적합한 형태로 변환하는 기법이다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 03. 18.수집 2026. 03. 18.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
