CoGR: 검색 매칭을 함께 진화시키는 두 LLM

왜 중요한가

검색 초기에 관련 아이템을 놓치면 뒤 단계의 ranking과 bidding에서 되찾기 어렵고, 무관한 후보가 많으면 후속 처리 부담이 커집니다. CoGR은 query-side만 확장하던 기존 흐름에서 벗어나 양쪽 LLM이 직접 키워드 표현을 만들고 같은 F1 목표로 맞추도록 해 Internal과 WANDS에서 강한 baseline보다 각각 10.9%, 36.1% 높은 F1을 기록했습니다.

핵심 기여

쿼리와 아이템 양쪽의 생성 키워드 검색

CoGR은 query-side와 item-side에 별도 LLM을 두고 각 입력에서 압축된 키워드 집합을 생성합니다. 두 집합을 역색인으로 직접 매칭하고 생성 키워드를 retrieval representation으로 사용해 기존 keyword-based retrieval infrastructure와의 호환성을 유지합니다.

SFT에서 co-evolving RL로 이어지는 학습 절차

먼저 item LLM이 만든 키워드를 관련 아이템별로 모아 쿼리 target을 구성하고 두 generator를 SFT로 초기화합니다. 이후 반대편 역색인을 고정한 채 query-side와 item-side를 번갈아 GRPO로 최적화해 두 키워드 공간을 점진적으로 맞춥니다.

양쪽에 맞춘 검색 보상 설계

query-side는 생성 키워드로 얻은 검색 결과의 precision과 recall을 결합한 F1을 직접 보상으로 받습니다. item-side는 해당 아이템의 키워드만 교체한 counterfactual index와 기준 index의 전체 쿼리 F1 차이를 보상으로 받아 자신의 키워드가 검색 품질에 기여한 정도를 학습합니다.

희소·밀집·생성 검색 baseline을 넘는 결과

CoGR은 Internal APP Marketplace와 WANDS에서 sparse, dense, generative 계열 10개 baseline과 비교해 가장 높은 전체 F1을 얻었습니다. CoGR-4B의 전체 F1은 Internal 0.3963, WANDS 0.6819였고, strongest baseline 대비 개선폭은 각각 10.9%, 36.1%였습니다.

핵심 아이디어 이해하기

검색은 관련 아이템을 많이 포함하는 recall과 무관한 아이템을 적게 포함하는 precision을 동시에 맞춰야 합니다. 기존 lexical retrieval은 역색인으로 빠르게 검색하지만 표현이 다른 의미를 놓칠 수 있고, query-side 생성만 개선하는 방식은 item-side 표현이 고정되어 양쪽 표현 공간의 불일치를 남깁니다.

CoGR은 이 문제를 두 LLM이 각각 쿼리와 아이템을 키워드 집합으로 변환하는 구조로 바꿉니다. 생성된 키워드가 입력 표현이 되고, 양쪽에서 하나라도 겹치는 아이템을 역색인으로 모은 뒤 BM25로 순위를 정합니다. 따라서 입력은 쿼리 또는 아이템, 처리는 키워드 생성과 역색인 매칭, 출력은 후보 아이템 집합과 ranking 점수로 이어집니다.

처음부터 RL을 적용하면 유용한 보상 신호가 부족하므로 SFT가 관련 아이템의 키워드를 쿼리 target에 연결해 초기 overlap을 만듭니다. 그 다음 query-side가 고정된 item index를 기준으로 F1을 높이고, item-side가 고정된 query index에서 자신의 키워드 교체가 만든 F1 변화량을 학습합니다. 한쪽이 바뀔 때 다른 쪽이 다음 기준이 되므로 두 표현 공간이 검색 목적에 맞춰 함께 수렴합니다.

방법론

CoGR은 query-side generator Gq와 item-side generator Gi를 별도로 학습합니다. 쿼리 q에서 Sq, 아이템 i에서 Si를 생성하고, Sq 또는 원래 쿼리와 Si 또는 원래 아이템 사이에 하나 이상의 공통 항이 있으면 해당 아이템을 검색 결과에 넣습니다. 검색된 항목은 생성 키워드를 bag of words로 취급한 BM25 점수로 정렬합니다.

Phase 1 SFT에서는 base LLM이 각 아이템에서 M개 키워드를 샘플링합니다. 각 쿼리의 관련 아이템에서 이 키워드를 모은 뒤 빈도가 높은 N개를 query-side target으로 선택하고, 아이템 입력-키워드와 쿼리 입력-target 쌍으로 두 generator를 Fine-tuning합니다. 본 실험에서는 N=15, M=10을 사용해 양쪽에 겹치는 초기 키워드 공간과 RL에 필요한 초기 recall을 마련했습니다.

Phase 2에서는 양쪽을 번갈아 업데이트하며 반대편이 만든 역색인을 고정합니다. query-side는 여러 키워드 집합을 샘플링하고 검색 결과의 F1을 terminal reward로 받아 GRPO를 수행하며, 키워드 수가 Kmax=30을 넘으면 보상 0을 받습니다. item-side는 한 아이템의 후보 키워드만 기준 index에 교체하고, 모든 쿼리의 새 F1 합에서 기존 F1 합을 뺀 값을 보상으로 사용하며 예산 초과 시 -1을 받습니다. 변하지 않은 쿼리는 두 합에서 상쇄되므로 영향을 받은 쿼리만 계산해 보상 비용을 줄입니다.

CoGR-4B와 CoGR-1.7B는 각각 Qwen3-4B-Instruct와 Qwen3-1.7B를 양쪽 generator의 backbone으로 사용합니다. GRPO는 verl framework로 수행하고, 각 co-evolving round마다 query generator를 10 epoch, item generator를 5 epoch 학습하며 총 5라운드를 번갈아 진행합니다.

주요 결과

Internal 데이터에서 CoGR-4B의 전체 검색 precision은 0.3976, recall은 0.4569, F1은 0.3963이었습니다. WANDS에서는 precision 0.7940, recall 0.6885, F1 0.6819를 기록했습니다. strongest baseline인 ANCE-Qwen4B의 전체 F1은 각각 0.3575와 0.5012였으므로 CoGR의 개선폭은 논문이 보고한 10.9%와 36.1%입니다.

Internal 검증 F1은 co-evolving RL 전 약 0.16에서 5라운드 후 약 0.40으로 상승했습니다. 첫 query/item 교대 라운드에서 가장 큰 증가가 발생했고, 이후 라운드에서도 작은 폭의 안정적인 개선이 이어졌습니다. Transposed F1, Shared generator, No SFT 변형의 F1은 각각 0.3743, 0.3798, 0.3751로 full CoGR의 0.3963보다 낮아 marginal item-side reward, 별도 generator, SFT 초기화의 조합이 더 높은 결과와 연결됐습니다.

키워드 공간도 학습 중 변했습니다. unigram 비중은 37%에서 13%로 줄고, 세 단어 이상 phrase 비중은 12%에서 31%로 늘었습니다. 초기에는 item-side vocabulary가 축소되고 query-side vocabulary가 확장되다가 약 3~4라운드 뒤 양쪽 고유 키워드 수가 비슷해졌습니다. 아이템 description을 제거하면 F1이 0.3963에서 0.3759로 하락했으며, query prompt에 search results를 추가하면 F1이 0.4379로 상승했습니다.

기술 상세

CoGR의 검색 표현은 두 generator의 출력 집합입니다. 쿼리 q에서 Sq, 아이템 i에서 Si를 만들고 원래 입력까지 포함한 두 집합의 교집합이 비어 있지 않은 아이템을 Iret(q)에 넣습니다. 이후 각 키워드 집합을 bag of words로 처리해 BM25로 ranking하므로, 입력은 텍스트, 처리는 LLM 키워드 생성→역색인 교집합 조회→BM25 점수 계산, 출력은 정렬된 후보 목록입니다.

query-side 보상은 관련 정답 집합과 검색 결과 집합의 교집합 크기를 사용합니다. precision은 검색된 전체 아이템 중 관련 아이템의 비율이고 recall은 관련 아이템 중 검색된 비율이며, 두 값을 조화평균해 F1을 계산합니다. 예를 들어 precision과 recall이 모두 0.5이면 F1도 0.5이고, 한쪽만 낮아지면 F1도 함께 낮아져 후보 과다와 누락을 동시에 억제합니다. 키워드 수가 Kmax를 초과하면 query-side reward를 0으로 설정합니다.

item-side는 자신의 키워드 효과를 분리하기 위해 기준 index와 counterfactual index를 만듭니다. 기준 상태의 아이템 i 키워드만 후보 Si로 바꾸고 나머지 아이템은 유지한 뒤, 모든 쿼리의 counterfactual F1 합 Rnew에서 기준 F1 합 Rold를 뺍니다. 이 값이 양수이면 해당 키워드 교체가 전체 쿼리 검색 품질을 높였다는 뜻이고 음수이면 낮췄다는 뜻입니다. query-side inverted index와 캐시된 검색 결과로 영향받은 쿼리만 찾아 동일하지 않은 항을 계산합니다.

SFT는 item LLM이 아이템마다 M=10개 키워드를 만든 뒤 관련 아이템 키워드의 빈도 상위 N=15개를 쿼리 target으로 선택합니다. RL에서는 양쪽 generator의 출력 집합을 Kmax=30으로 제한하고 query-side 10 epoch, item-side 5 epoch의 GRPO 업데이트를 5라운드 교대합니다. CoGR-4B는 Qwen3-4B-Instruct, CoGR-1.7B는 Qwen3-1.7B를 사용하며 chain-of-thought 없이 키워드를 직접 생성합니다.

한계점

현재 ranking 단계는 생성된 키워드에 대한 BM25에 의존합니다. 논문은 irrelevant ads percentage와 revenue gain 같은 downstream business objective로 보상을 확장하고, 더 강한 retrieval ranking을 설계하는 방향을 후속 과제로 제시합니다.

실무 활용

CoGR은 기존 역색인 인프라를 유지하면서 query-side와 item-side의 키워드 표현을 LLM으로 생성하고 retrieval feedback으로 함께 조정하는 검색 구조입니다. APP marketplace와 product search처럼 하나의 쿼리에 여러 관련 아이템이 연결되는 환경에서 후보 coverage와 precision을 동시에 최적화하는 용도로 활용할 근거가 있습니다.

앱 마켓플레이스에서 사용자 쿼리와 앱 title·description을 생성 키워드로 매칭하는 후보 검색
상품 검색에서 다양한 표현의 쿼리와 상품 정보를 역색인 기반으로 연결하는 retrieval 단계
기존 keyword-based retrieval infrastructure를 유지하면서 LLM 기반 query expansion과 item representation을 함께 학습하는 시스템
검색 결과를 query-side prompt에 추가해 모호하거나 오탈자가 있는 쿼리의 키워드 생성을 보강하는 구성

코드 공개 여부: 미확인

키워드

CoGR(공동 진화 생성 검색)GRPO(그룹 상대 정책 최적화)query expansion(쿼리 확장)retrieval-feedback training(검색 피드백 학습)inverted index(역색인)sparse retrieval(희소 검색)dense retrieval(밀집 검색)generative retrieval(생성 검색)F1(정밀도·재현율 조화평균)

용어 해설

역색인(Inverted Index): — 문서나 아이템에 포함된 키워드를 기준으로 해당 항목의 위치를 저장하는 검색 자료구조입니다. 검색어의 키워드를 역색인에서 조회해 일치하는 아이템을 빠르게 모으므로 대규모 키워드 검색의 핵심 기반으로 쓰입니다.
희소 검색(Sparse Retrieval): — 쿼리와 문서를 대부분 비어 있는 키워드·가중치 벡터로 표현하고 겹치는 항이나 학습된 용어를 기준으로 검색하는 방식입니다. BM25처럼 역색인과 결합하기 쉽지만 표현이 다른 의미 관계를 포착하는 데 한계가 있습니다.
밀집 검색(Dense Retrieval): — 쿼리와 아이템을 연속적인 embedding 공간의 벡터로 바꾼 뒤 벡터 유사도로 가까운 항목을 찾는 검색 방식입니다. 단어가 정확히 겹치지 않아도 의미적 유사성을 활용하지만 별도의 벡터 검색 인프라가 필요합니다.
생성 검색(Generative Retrieval): — 검색 모델이 쿼리에서 문서 식별자나 의미 표현을 직접 생성해 검색하는 방식입니다. 유사도 검색을 대체할 수 있지만 식별자 설계, decoding 확장성, 새로운 항목에 대한 일반화가 주요 과제로 남습니다.
반사실적 한계 보상(Counterfactual Marginal Reward): — 특정 아이템의 키워드만 후보 세트로 교체했을 때 전체 검색 F1이 기준 상태와 비교해 얼마나 변하는지 측정하는 보상입니다. 다른 아이템을 고정한 채 해당 키워드의 순수한 기여를 계산하므로 item-side RL의 학습 신호가 됩니다.
BM25: — 쿼리와 문서의 단어 빈도, 문서 길이, 역문서 빈도 등을 이용해 lexical match 점수를 계산하는 검색 ranking 방식입니다. CoGR은 생성된 키워드를 역색인으로 매칭한 뒤 BM25 점수로 검색 결과의 순서를 정합니다.

CoGR: 검색 매칭을 함께 진화시키는 두 LLM

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

멀티 문서 대화형 RAG 파이프라인

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

멀티 문서 대화형 RAG 파이프라인