DARE: 분포 인지형 검색을 통한 LLM 에이전트와 R 통계 생태계의 정렬

기존 AI 에이전트는 파이썬에 치중되어 수십 년간 축적된 R 언어의 정교한 통계 도구를 활용하지 못하는 한계가 있었습니다. 이 논문은 데이터의 분포 특성을 검색 과정에 반영하여, 복잡한 통계 분석 작업에서 AI가 가장 적합한 R 패키지를 정확히 찾아내고 실행할 수 있게 돕습니다.

기존의 RAG 시스템은 주로 텍스트 간의 의미적 유사성에 의존하여 정보를 찾습니다. 하지만 통계 분석에서는 단순히 분석 의도뿐만 아니라, 데이터가 희소한지, 고차원인지, 혹은 특정 분포를 따르는지와 같은 데이터의 통계적 특성이 적절한 도구 선택의 핵심 기준이 됩니다. 기존 모델은 이러한 수치적 맥락을 무시하고 텍스트 설명에만 집중하기 때문에 부적절한 통계 함수를 추천하는 경우가 많았습니다.

DARE는 이를 해결하기 위해 데이터 프로필이라는 개념을 도입합니다. 사용자의 쿼리와 R 함수의 설명을 임베딩 공간에 매핑할 때, 해당 데이터의 양상, 분포 가정, 차원성 등의 정보를 함께 결합하여 인코딩합니다. 즉, 단순한 텍스트 임베딩에 데이터의 통계적 제약 조건을 조건부로 주입하여, 의미적으로는 비슷하지만 통계적으로는 다른 용도의 함수들을 정교하게 구분해냅니다.

결과적으로 DARE는 2,300만 개의 매우 적은 파라미터만으로도 수억 개의 파라미터를 가진 거대 모델보다 R 패키지 검색에서 훨씬 높은 정확도를 보여줍니다. 이는 AI 에이전트가 방대한 R 생태계의 도구들을 마치 숙련된 통계학자처럼 데이터의 성격에 맞춰 골라 쓸 수 있게 되었음을 의미하며, 실제 분석 작업의 성공률을 비약적으로 높여줍니다.

DARE는 공유 가중치를 가진 Bi-Encoder 아키텍처를 기반으로 하며, all-MiniLM-L6-v2 모델로 초기화됩니다. 인코더 네트워크 ε(·)는 입력 텍스트를 m차원 벡터 공간으로 매핑합니다. 에이전트의 요청 q와 데이터 프로필 cq를 결합한 [q; cq]를 쿼리 임베딩 eq로 변환하고, 각 후보 함수 f의 문서 d와 프로필 cd를 결합한 [d; cd]를 함수 임베딩 ef로 변환합니다.

두 표현 사이의 관련성 점수는 코사인 유사도 s(eq, ef) = (eqᵀ ef) / (||eq||₂ ||ef||₂)를 통해 계산됩니다. [쿼리 임베딩 eq와 함수 임베딩 ef 벡터를 입력으로] → [두 벡터의 내적을 각각의 크기 곱으로 나누는 연산을 수행해] → [-1에서 1 사이의 유사도 값을 얻고] → [이 값이 1에 가까울수록 사용자의 데이터 상황과 함수의 용도가 일치함을 의미한다.]

학습 시에는 InfoNCE Loss를 사용하여 정답 함수와의 유사도는 극대화하고, 배치 내 다른 함수들과의 유사도는 최소화합니다. Li = -log(exp(cos(eqi, efi)/τ) / Σ exp(cos(eqi, efj)/τ))를 계산하며, [쿼리와 정답/오답 함수 간의 유사도 점수들을 입력으로] → [정답과의 유사도를 지수 함수로 취해 전체 유사도 합으로 나누고 로그를 취하는 연산을 수행해] → [양수의 손실 값을 얻고] → [이 값을 최소화함으로써 모델이 정답은 가깝게, 오답은 멀게 배치하도록 학습한다.]

DARE는 RPKB 테스트 셋에서 NDCG@10 93.47%, Recall@1 87.39%를 기록하며 SOTA 성능을 달성했습니다. 이는 기존의 강력한 베이스라인인 Snowflake/arctic-embed-l(335M 파라미터) 대비 NDCG@10 기준 약 17.8% 향상된 수치입니다. 특히 DARE는 경쟁 모델들보다 파라미터 수가 15~25배 적음에도 불구하고 압도적인 성능을 보였습니다.

추론 효율성 측면에서도 DARE는 초당 8,512개의 쿼리를 처리하며 3.7ms의 초저지연 시간을 기록했습니다. 이는 대규모 파라미터 모델들이 10ms 이상의 지연 시간과 3,000 이하의 QPS를 보이는 것과 대조적이며, 실시간 에이전트 워크플로우에 매우 적합함을 입증했습니다.

16가지 통계 분석 작업에 대한 에이전트 성능 평가에서, DARE를 통합한 RCodingAgent는 통합 전 대비 성공률이 최대 56.25%p 상승했습니다. Grok-4.1-fast 모델의 경우 성공률이 18.75%에서 75.00%로 급증했으며, 경량 모델인 Claude-haiku-4.5 역시 6.25%에서 56.25%로 성능이 크게 개선되었습니다.

DARE의 핵심은 텍스트 의미론과 통계적 분포 특성을 단일 벡터 공간에 융합하는 Distribution-Aware Retrieval 메커니즘에 있습니다. 기존 RAG가 문서의 주제어에 집중했다면, DARE는 데이터의 구조적 제약 조건을 조건부 변수로 활용하여 임베딩의 변별력을 높였습니다.

아키텍처는 23M 파라미터의 all-MiniLM-L6-v2를 백본으로 사용하는 Bi-Encoder 구조를 채택하여 배포 효율성을 극대화했습니다. 쿼리와 함수 문서 각각에 데이터 프로필을 결합하여 인코딩함으로써, glm과 glm.nb처럼 의미는 비슷하지만 데이터 분포에 따라 선택이 달라져야 하는 미세한 차이를 학습했습니다.

학습 과정에서는 245,730개의 합성 쿼리를 생성하여 대규모 지도 학습을 수행했습니다. InfoNCE 손실 함수를 통해 정답 쌍과 오답 쌍 간의 거리를 최적화했으며, AdamW 옵티마이저와 1e-4의 학습률로 100 에포크 동안 안정적인 수렴을 달성했습니다.

RCodingAgent는 DARE를 통해 검색된 함수 메타데이터를 JSON 형태로 프롬프트에 주입받습니다. 여기에는 함수의 사용법, 인자, 예제 코드가 포함되어 있어, LLM이 학습 데이터에 부족한 R 패키지 정보를 실시간으로 참조하여 정확한 코드를 생성할 수 있도록 설계되었습니다.

LLM의 R 언어 숙련도 자체가 파이썬에 비해 낮아 내부적인 통계적 추론 능력이 여전히 제한적이라는 점이 명시되었습니다. 또한 현재의 RPKB는 8,191개의 패키지를 포함하고 있으나 전체 R 생태계를 모두 포괄하지는 못하며, 더 복잡한 계층적 도구 활용 시나리오에 대한 추가 연구가 필요합니다.