DuoMem: 이중 공간 증류를 통한 온디바이스 메모리 에이전트 역량 강화

온디바이스 에이전트는 메모리와 연산 비용 제약으로 인해 다중회차 절차적 과제 수행에서 성능이 크게 저하된다. DuoMem은 문맥 차원에서 교사 생성 메모리를 전치하고 파라미터 차원에서 LoRA 어댑터를 학습해 작은 모델의 절차적 문제 해결 능력을 크게 끌어올린다. 이 접근은 4B 모델이 4.3%에서 77.9%로 성공률을 상승시키고 추론 지연을 줄여 엣지 배포 실현 가능성을 제고했다.

출발점과 기존 한계: 대형 LLM 기반 에이전트는 상호작용 궤적을 기반으로 절차적 결정을 내릴 수 있으나 이러한 능력은 대규모 파라미터 수와 긴 컨텍스트, 빈번한 추론 호출에 의존한다. 이로 인해 2B–12B급 소형 모델은 자체적으로 질 높은 기억(메모리)을 추출하거나 장기적인 절차 패턴을 학습하는 데 한계가 있어 ALFWorld와 같은 다단계 환경에서 실패율이 높다. 따라서 온디바이스 제약을 만족하면서도 절차적 문제 해결 능력을 유지하려면 입력 수준의 지식 보강과 파라미터 수준의 행동 조정이 동시에 필요하다.

해결 원리: DuoMem은 두 공간에서의 증류로 이 문제를 해소한다. 먼저 context-space distillation에서는 72B 교사가 오프라인으로 생성한 절차적 메모리 스크립트를 저장해 인퍼런스 시 학생 입력 앞에 전치한다; 검색은 작업 설명과 메모리의 임베딩 코사인 유사도로 상위 k개를 선택한다. 다음으로 parameter-space distillation에서는 교사가 성공한 궤적을 수집해 학생에 LoRA 어댑터만 학습시키고 베이스 파라미터는 고정한 채 next-token 예측 손실로 행동 정책을 모방한다.

달라지는 점과 정량적 효과: 이 접근은 '무엇을 보게 하느냐'와 '어떻게 행동하느냐'를 분리해 각각을 강화함으로써 상호보완적 이득을 낸다. 실험에서 Qwen3-4B-Instruct는 MemP(학생이 생성한 메모리)만으로도 상당한 개선을 보였으나, 교사 메모리 전치(CD)와 LoRA 훈련을 결합한 DuoMem은 4.3%에서 77.9%로 성능을 대폭 향상시켰다. 또한 LoRA 어댑터는 수백만 파라미터 수준의 추가만으로 행동 성능을 대폭 개선해 엣지 지연과 저장 오버헤드를 실용적인 범위로 유지했다.

전체 접근과 핵심 아이디어: DuoMem은 오프라인 단계에서 교사가 훈련 작업들을 풀어 성공 궤적과 요약 스크립트를 생성하고 이를 두 가지 경로로 활용한다. 하나는 teacher-generated procedural memories를 저장해 학생의 인퍼런스 입력에 전치하는 context-space distillation이고, 다른 하나는 성공 궤적을 모아 학생 모델에 LoRA 어댑터만 학습시키는 parameter-space distillation이다. 최종 배포 시 학생은 교사 메모리를 입력으로 받고 LoRA가 적용된 상태로 행동을 생성한다.

context-space 세부 메커니즘: 교사는 모든 완료된 궤적에 대해 f_extract로 요약 스크립트를 생성해 메모리 뱅크에 텍스트 파일로 저장한다. 인퍼런스에서는 작업 설명의 임베딩과 메모리 항목 임베딩의 코사인 유사도(논문에서는 OpenAI text-embedding-3-small 사용)로 상위 k개를 검색해 입력 앞부분에 concatenation한다. 논문 실험에서는 각 스크립트 평균 약 70 토큰, 참조 궤적 평균 약 480 토큰, MemP 구성(k=10 스크립트 + 1 참조)으로 약 1,200 토큰의 추가 컨텍스트를 사용했고 전체 메모리 저장소는 수 MB 수준이었다.

parameter-space(LoRA) 상세: 교사는 각 학습 작업을 최대 3–5회 시도해 성공 궤적만 보존했고 총 11,434개의 성공 궤적을 수집했다. LoRA 어댑터는 rank r∈{8,16,32}와 learning rate 탐색(10⁻⁶~5×10⁻⁵)을 통해 하이퍼파라미터를 선택했으며 α/r=2를 고정했다. 입력 구성은 Full History, Last-5, Latest Only 세 전략을 비교한 결과 Full History가 가장 우수했으며, 각 교사 궤적의 모든 결정점에 대해 next-token 예측 손실로 어댑터를 학습했다.

조합과 배포 파이프라인: DuoMem은 먼저 학생에 LoRA를 학습시키고(오프라인), 이후 인퍼런스 시 teacher-generated memories를 prepending한 입력을 LoRA적용 학생에 제공한다. 이 파이프라인은 교사 궤적 생성 비용을 한 번만 지불하면 다양한 학생 아키텍처에 재사용할 수 있도록 설계되어 온디바이스 적용성 측면에서 효율적이다.

메인 벤치마크 성능: ALFWorld 테스트에서 DuoMem은 Qwen3-4B-Instruct의 성공률을 No Memory 기준 4.3%에서 MemP+CD+LoRA 구성으로 77.9%까지 향상시켜 72B 교사(Qwen2.5-72B-Instruct)의 87.1%에 근접했다. 다른 소형 모델들에서도 유사한 패턴이 관찰되었고, 예컨대 Gemma4-E2B-it는 2.1%에서 55.7%로 상승하는 등 2B–12B 범위의 학생들에게서 큰 개선이 나타났다. 표와 실험 결과는 context-space와 parameter-space의 결합이 단독 적용보다 우수하다는 점을 일관되게 보여준다.

Ablation 및 구성 요소 기여: 문맥 증류(CD)는 작은 모델에서 특히 강한 이득을 보였고, 파라미터 증류(LoRA)는 행동 정책 자체를 개선해 메모리가 없을 때조차 성능을 크게 올렸다. 개별 실험에서 Qwen3-4B의 경우 MemP만으로도 55.0%였으나 LoRA를 더하면 72.1%가 되고 CD를 추가해 DuoMem에서는 77.9%에 도달했다. 또한 어떤 모델은 LoRA의 이득이 적거나 음수로 나타나기도 했는데 이는 학생과 교사 간 능력 차이나 모델의 기본 역량에 따라 전이 효과가 달라지기 때문이었다.

효율성 및 배포 지표: DuoMem 적용 시 추가 LoRA 파라미터는 수백만 개(예: Qwen3-4B r=8에서 5.9M) 수준이고 저장 오버헤드는 수십 MB(bf16 기준)로 제약된 환경에서 수용 가능한 수준이었다. Qwen3-4B-Instruct DuoMem 구성은 평균 실행 시간을 18.49초(무기억)에서 4.89초로 줄여 72B 교사 대비 약 3.4배 빠른 처리 속도를 기록했고 성공률은 크게 향상되어 엣지 실시간 응용에 적합함을 보였다.

전체 아키텍처 개요: DuoMem 파이프라인은 교사 모델(Qwen2.5-72B-Instruct)을 사용해 훈련 집합의 각 작업을 여러 번 시도해 성공 궤적을 수집하고, 각 궤적을 요약한 procedural memory 스크립트를 저장하는 오프라인 단계와 학생에 LoRA 어댑터를 학습시키는 단계로 구성된다. 인퍼런스 시에는 학생 입력에 retrieval로 선택된 teacher-generated memories(k개)를 prepending하고 LoRA가 적용된 학생이 행동을 생성한다. 이 구조는 입력 수준의 지식 보강과 파라미터 수준의 행동 개선을 분리해 각각의 장점을 활용한다.

핵심 메커니즘의 수학적/알고리즘적 기반: 메모리 검색은 임베딩 코사인 유사도로 수행되며 논문은 OpenAI text-embedding-3-small을 사용해 메모리와 작업 설명의 유사도를 계산한다. LoRA 학습은 next-token 예측 손실로 구성되어 ℒ = −Σ log p_{θ_S+Δθ}(y_t | x, y_{<t}) 형태로 어댑터 Δθ만 업데이트한다. LoRA 하이퍼파라미터 탐색은 r∈{8,16,32}와 lr∈{10^{-6},5×10^{-6},10^{-5},5×10^{-5}}를 사용했고 α/r=2로 고정했다.

구현 및 학습 세부사항: 교사는 3,553개의 학습 작업을 3–4회 시도해 총 11,546 인스턴스를 생성했고 최종적으로 11,434개의 성공 궤적을 확보했다. LoRA 학습은 Full History 입력 전략이 최상으로 나타났으며, 각 궤적의 모든 결정 지점이 학습 샘플로 사용되어 모델이 초기 관찰부터 후속 행동까지의 절차적 동학을 학습하도록 구성했다. LoRA 파라미터는 모델별로 수백만~수천만 개 수준이며 예컨대 Qwen3-4B r=8은 5.9M 파라미터를 추가해 저장 오버헤드는 약 12MB(bf16) 수준이었다.

리소스 및 비용 측면: teacher-generated memories 전체 저장 공간은 수 MB였고 각 스크립트 평균 70 토큰, 참조 궤적 평균 480 토큰으로 측정되었다. MemP 구성(k=10+trajectory)은 평균 약 1,200토큰의 추가 컨텍스트를 요구하며 이것이 인퍼런스 지연에 일정한 영향을 주나 전체 성능 대비 비용은 작았다. 논문 실험은 2×A100(80GB) 서버에서 수행한 벽시계 시간 측정을 포함하고 있으므로 엣지 NPU 같은 실제 하드웨어에서의 추가 프로파일링이 필요하다.

명시된 평가 한계 중 하나는 실험이 ALFWorld 벤치마크에 국한되어 있다는 점으로, 논문은 ALFWorld를 절차적 메모리에 대한 표준화된 평가 환경으로 채택했으나 다른 도메인(예: 웹 내비게이션, 코드 생성)에서의 일반화는 추가 검증이 필요함을 밝힌다. 두 번째 한계는 단일 교사 모델(Qwen2.5-72B-Instruct)만 사용했다는 점으로, 논문은 다중 교사 앙상블이나 반복적 self-distillation이 추가로 성능을 끌어올릴 수 있다고 표기해 향후 연구 방향을 열어두었다. 세 번째 한계는 효율성 분석이 서버 GPU(2×A100)에서의 벽시계 시간에 기반해 수행되어 실제 엣지 하드웨어 상의 end-to-end 지연 프로파일링은 별도의 평가가 필요하다는 점이다.