Combee: 자기 개선형 언어 모델 에이전트를 위한 프롬프트 학습 확장 프레임워크

기존의 프롬프트 학습 방식은 단일 에이전트나 낮은 병렬성 환경에 최적화되어 있어 대규모 에이전트 실행 기록을 효율적으로 활용하지 못했다. Combee는 Map-Shuffle-Reduce 패러다임을 도입하여 병렬 처리 시 발생하는 정보 손실과 성능 저하 문제를 해결하고 학습 속도를 획기적으로 높였다.

언어 모델 에이전트는 실행 기록(Trace)을 분석하여 스스로 시스템 프롬프트를 개선하는 Prompt Learning을 수행한다. 하지만 배치 크기를 키워 병렬로 학습시키면, 집계 역할을 하는 LLM이 너무 많은 정보를 한꺼번에 처리하려다 세부적인 고가치 정보를 버리고 일반적인 패턴만 남기는 '컨텍스트 과부하(Context Overload)' 현상이 발생한다. 이는 마치 수백 명의 보고서를 한 명이 요약할 때 중요한 디테일이 모두 생략되는 것과 같다.

Combee는 이 문제를 해결하기 위해 분산 컴퓨팅의 MapReduce 개념을 도입한다. 먼저 여러 에이전트가 병렬로 작업을 수행하고(Map), 각 에이전트의 통찰력을 복제하고 섞어 정보 밀도를 높인 뒤(Shuffle), 계층적인 병렬 스캔 구조를 통해 조금씩 나누어 통합한다(Reduce). 이 과정에서 개별 에이전트가 발견한 구체적인 해결책들이 최종 프롬프트까지 유실되지 않고 전달된다.

결과적으로 대규모 병렬 환경에서도 순차적 학습과 대등하거나 더 높은 정확도를 유지할 수 있게 되었다. 이는 에이전트 시스템이 커질수록 학습 효율이 급격히 떨어지던 기존의 한계를 극복하고, 수천 개의 에이전트 실행 데이터로부터 동시에 지식을 습득할 수 있는 기반을 마련한 것이다.

Combee는 Map-Shuffle-Reduce 패러다임을 기반으로 세 가지 핵심 모듈을 구성한다. 첫째, Map 단계에서 n개의 병렬 에이전트가 쿼리를 실행하고 그 결과를 반성(Reflect)하여 로컬 업데이트 후보를 생성한다.

둘째, Augmented Shuffle 단계에서는 생성된 x개의 반성 기록을 p배(기본값 2) 복제한 후 무작위로 섞는다. [입력된 반성 기록 수 x → p배 복제 및 셔플 → x*p개의 증강된 데이터셋 생성] 과정을 통해 특정 정보가 집계 과정에서 탈락할 확률을 줄이고 데이터의 견고함을 확보한다.

셋째, Parallel Scan Aggregation 단계에서는 n개의 기록을 k개의 서브그룹으로 나누어 계층적으로 통합한다. k=floor(sqrt(n))으로 설정하여 각 단계에서 처리할 정보량을 제한함으로써 LLM의 컨텍스트 과부하를 방지한다. [n개의 로컬 업데이트 → sqrt(n)개의 중간 업데이트 → 1개의 글로벌 업데이트] 순으로 계산하여 정보 손실을 최소화한다.

마지막으로 Dynamic Batch Size Controller는 전력 법칙(Power-law) 지연 모델을 사용하여 배치 크기 증가에 따른 한계 이익을 계산한다. [현재 배치 크기 bs와 측정된 지연 시간 d(bs) 입력 → T_epoch(bs) = A * bs^-alpha 모델 피팅 → 미분값이 임계치 tau 이하가 되는 지점 산출] 과정을 통해 품질 저하를 막으면서도 학습 속도를 극대화하는 최적의 배치 크기를 결정한다.

AppWorld 벤치마크에서 Combee는 순차적 학습 대비 12배 빠른 속도를 기록하면서도 가장 높은 평균 점수(65.8)를 달성했다. 특히 배치 크기를 40으로 키웠을 때 기존 방식(ACE)은 정확도가 55.7로 급락한 반면, Combee는 성능 저하 없이 높은 효율을 유지했다.

Terminal-Bench 2.0 실험에서는 이전 방식들보다 최대 17배의 속도 향상을 보였다. 순차 학습이 42분 걸리던 작업을 Combee는 약 2.4분 만에 완료하면서도 35.6%의 정확도를 유지하여, 배치 크기 증가에 따른 성능 저하 문제를 효과적으로 해결했음을 입증했다.

금융 도메인 데이터셋인 FiNER와 Formula에서도 Combee는 Pareto Frontier(최적 효율 경계)에 도달했다. 기존의 Top-K 검색이나 요약 기반의 집계 방식보다 훨씬 우수한 생성 품질을 보였으며, 다양한 모델(DeepSeek-V3.1, GPT-OSS 120B)에서 일관된 성능 향상을 확인했다.

Combee 아키텍처의 핵심은 컨텍스트 과부하(Context Overload)를 방지하기 위한 계층적 집계 구조에 있다. 연구진은 단일 LLM이 많은 양의 텍스트를 한 번에 요약할 때 발생하는 '손실 압축(Lossy Compression)' 현상을 정량적으로 분석하여, 배치 크기가 커질수록 유용한 업데이트 항목 수가 단조 감소함을 확인했다.

이를 해결하기 위해 도입된 Parallel Scan 알고리즘은 병렬 컴퓨팅의 Prefix Sum 연산에서 영감을 얻었으며, 각 노드가 처리하는 컨텍스트 윈도우 내 정보 밀도를 최적으로 유지하도록 설계되었다. 또한 Augmented Shuffle은 Self-consistency 원리를 병렬 학습에 적용한 것으로, 동일한 통찰력을 서로 다른 컨텍스트 조합으로 LLM에게 제시함으로써 중요한 지식의 생존율을 높인다.

구현 측면에서 Combee는 프레임워크에 구애받지 않는(Agnostic) 구조를 취하고 있어, 기존의 ACE나 GEPA와 같은 Prompt Learning 기법 위에 최소한의 수정으로 통합될 수 있다. 실험에서는 DeepSeek-V3.1의 128K 컨텍스트 윈도우를 사용했음에도 불구하고, 단순한 윈도우 내 처리가 아닌 구조적 집계가 성능 유지에 필수적임을 증명했다.

현재 Combee는 각 반복(Iteration) 내에서 동기식 병렬 실행을 가정하고 있다. 향후 연구에서는 이기종 배포 환경에서 처리량을 더 높이기 위해 비동기식 또는 부분 동기식 SGD와 유사한 변형 기법에 대한 탐구가 필요하다. 또한 현재는 텍스트 기반의 플레이북 형태에 집중하고 있으나, 프로그램 라이브러리나 검색 증강 기술과의 통합 검증이 추가로 요구된다.