검색을 넘어: 코드 검색을 위한 다중 작업 벤치마크 및 모델

기존 코드 검색 평가 도구들이 단순히 텍스트 유사도만 측정하고 실제 개발 환경의 복잡한 리랭킹 과정을 무시하는 문제를 해결합니다. 데이터 오염을 엄격히 차단한 새로운 벤치마크 CoREB과 전용 리랭커 모델을 통해 AI 코딩 에이전트의 정확도를 실질적으로 높일 수 있는 기반을 마련했습니다.

기존의 코드 검색 모델은 텍스트와 코드를 고차원 공간의 점(Embedding)으로 변환한 뒤, 두 점 사이의 거리가 가까운 것을 찾는 방식에 의존한다. 하지만 이 방식은 '알고리즘의 논리적 구조'보다는 '사용한 단어의 유사성'에 치우치기 쉽다. 특히 모델이 학습 과정에서 이미 본 코드를 단순히 기억해내서 점수가 높게 나오는 '데이터 오염' 문제가 심각하다.

이 논문은 이를 해결하기 위해 '카운터팩추얼 재작성(Counterfactual Rewriting)' 개념을 도입한다. 이는 문제의 핵심 논리는 그대로 두되, 변수 이름이나 배경 설명을 완전히 바꾸어 모델이 암기한 지식으로는 풀 수 없게 만드는 방식이다. 마치 시험 문제의 숫자와 이름만 바꿔서 학생이 공식의 원리를 이해했는지 테스트하는 것과 같다.

결과적으로 모델은 단순한 키워드 매칭이 아니라 코드의 실제 동작 원리를 파악해야만 높은 점수를 얻을 수 있다. 또한 검색된 결과들 중 정답과 비슷해 보이지만 실제로는 틀린 '하드 네거티브' 샘플들을 배치하여, 모델이 정교하게 순위를 다시 매기는 리랭킹 능력을 갖추도록 유도한다.

CoREB 구축은 5단계 파이프라인으로 구성된다. 먼저 LiveCodeBench에서 최신 경쟁 프로그래밍 문제를 수집하고, GPT-o1을 활용해 문제의 서술 방식을 변형하는 카운터팩추얼 재작성을 수행한다. 이후 Gemini 3 Flash와 Claude Sonnet 4.5를 사용하여 5개 언어로 솔루션 코드를 생성하고 테스트 케이스를 통해 실행 가능성을 검증한다.

리랭커 학습을 위해 Qwen3-Reranker-4B 모델에 LoRA(Low-Rank Adaptation) 기법을 적용한다. 310만 개의 샘플로 구성된 말뭉치를 사용하며, 쿼리(q), 문서(d), 레이블(y)의 트리플렛 형태로 데이터를 구성한다. 이때 [입력 텍스트 → Transformer 인코더 → 'yes/no' 토큰 생성 확률] 과정을 거쳐 문서의 관련성을 확률값으로 산출한다.

손실 함수는 Causal Language Modeling의 Cross-Entropy Loss를 사용한다. 모델이 생성하는 답변 영역에서 'yes' 토큰이 나올 확률을 최대화하도록 학습하며, 배치 내의 하드 네거티브 샘플들을 통해 모델이 미세한 논리적 차이를 구분하도록 가중치를 갱신한다.

11개의 임베딩 모델과 5개의 리랭커를 평가한 결과, 코드 전용 임베딩 모델이 범용 모델보다 코드-대-코드 검색에서 약 2배 높은 성능을 보였다. 특히 GemEmb-2와 C2LLM-7B가 가장 우수한 성능을 기록했으나, 모든 작업(Text-to-Code, Code-to-Text 등)에서 압도적인 단일 모델은 존재하지 않음을 확인했다.

리랭킹 실험에서는 기존 범용 리랭커들이 특정 작업에서 성능이 20포인트 이상 급락하는 '작업 비대칭성' 문제를 발견했다. 반면 본 논문에서 제안한 COREB-RERANKER는 모든 작업에서 일관되게 성능을 향상시킨 유일한 모델로 나타났다. 또한 짧은 키워드 쿼리에서는 모든 모델의 nDCG@10 점수가 거의 0에 수렴하는 한계가 드러나, 향후 연구 방향으로 쿼리 확장 기술의 필요성을 제시했다.

CoREB은 기존 CoIR 벤치마크의 구조적 결함(1:1 매칭, 레이블 노이즈, 데이터 오염)을 해결하기 위해 설계되었다. 3단계 등급 레이블(Relevance 0, 1, 2)을 도입하여, 실행 결과가 틀린 코드는 하드 네거티브(Relevance 1)로 분류해 모델이 이를 정답보다 높게 순위 매길 경우 nDCG 지표에서 페널티를 받도록 설계했다.

모델 아키텍처 측면에서 COREB-RERANKER는 Qwen3-Reranker-4B를 기반으로 하며, LoRA rank=16, alpha=16 설정을 사용하여 파라미터 효율적인 미세 조정을 수행했다. 학습 시에는 동일 문제의 오답 코드를 하드 네거티브로 강제 배정하여 변별력을 높였으며, 최종 체크포인트는 서로 다른 시드값으로 학습된 두 모델의 가중치를 평균 내는 Model Soup 기법을 적용해 일반화 성능을 극대화했다.

CoREB은 경쟁 프로그래밍 문제에 집중되어 있어 대규모 엔터프라이즈급 라이브러리나 복잡한 의존성을 가진 프로젝트 코드 검색을 완벽히 대변하지 못할 수 있다. 또한 현재 5개 주요 프로그래밍 언어만 지원하며, 대화형이나 멀티턴 검색 시나리오는 다루지 않는 한계가 있다.