DuoMem: 이중 공간 증류를 통한 온디바이스 메모리 에이전트 역량 강화

왜 중요한가

온디바이스 에이전트는 메모리와 연산 비용 제약으로 인해 다중회차 절차적 과제 수행에서 성능이 크게 저하된다. DuoMem은 문맥 차원에서 교사 생성 메모리를 전치하고 파라미터 차원에서 LoRA 어댑터를 학습해 작은 모델의 절차적 문제 해결 능력을 크게 끌어올린다. 이 접근은 4B 모델이 4.3%에서 77.9%로 성공률을 상승시키고 추론 지연을 줄여 엣지 배포 실현 가능성을 제고했다.

핵심 기여

이중 공간 증류 프레임워크 제시

DuoMem은 context-space distillation과 parameter-space distillation을 동시에 활용하는 프레임워크로, 문맥에 교사가 생성한 절차적 메모리를 전치하고 LoRA 어댑터를 교사 궤적으로 학습시켜 학생 모델의 행동과 입력을 동시에 개선한다. 이 두 축은 서로 보완적으로 작용해 단독 적용보다 더 큰 성능 향상을 만들어냈다. 프레임워크는 아키텍처에 무관하게 적용 가능하도록 설계되어 다양한 모델 규모에 사용되었다.

작은 모델에서의 실험적 성능 향상과 효율성 입증

ALFWorld 평가에서 DuoMem은 Qwen3-4B-Instruct 모델의 성공률을 4.3%에서 77.9%로 끌어올려 72B 교사의 87.1%에 가까운 성능에 도달했다. 동일 구성의 4B 학생은 평균 처리 시간이 4.89초로, 72B 교사보다 약 3.4배 빠르게 과제를 완수해 엣지 실시간 배포에 적합한 실무적 이점을 제공했다. 추가로 LoRA 어댑터는 수백만 개 미만의 추가 파라미터와 수십 MB 수준의 저장 오버헤드만 필요했다.

광범위한 절단·비교 실험을 통한 요소별 기여 규명

8개 모델(2B–72B)을 대상으로 문맥 증류와 파라미터 증류의 독립적·결합적 효과를 비교하는 광범위한 ablation 실험을 수행했다. 결과는 작은 모델에서 context-space distillation이 특히 큰 이득을 주고, parameter-space(LoRA)는 행동 정책 자체를 크게 향상시켜 두 기법의 결합이 시너지 효과를 만든다는 점을 일관되게 보여줬다. 또한 thinking 모드 모델은 높은 정확도를 보였지만 5–7배의 지연 페널티가 있어 엣지 배포에 부적합한 경우가 있다는 실험적 근거를 제시했다.

핵심 아이디어 이해하기

출발점과 기존 한계: 대형 LLM 기반 에이전트는 상호작용 궤적을 기반으로 절차적 결정을 내릴 수 있으나 이러한 능력은 대규모 파라미터 수와 긴 컨텍스트, 빈번한 추론 호출에 의존한다. 이로 인해 2B–12B급 소형 모델은 자체적으로 질 높은 기억(메모리)을 추출하거나 장기적인 절차 패턴을 학습하는 데 한계가 있어 ALFWorld와 같은 다단계 환경에서 실패율이 높다. 따라서 온디바이스 제약을 만족하면서도 절차적 문제 해결 능력을 유지하려면 입력 수준의 지식 보강과 파라미터 수준의 행동 조정이 동시에 필요하다.

해결 원리: DuoMem은 두 공간에서의 증류로 이 문제를 해소한다. 먼저 context-space distillation에서는 72B 교사가 오프라인으로 생성한 절차적 메모리 스크립트를 저장해 인퍼런스 시 학생 입력 앞에 전치한다; 검색은 작업 설명과 메모리의 임베딩 코사인 유사도로 상위 k개를 선택한다. 다음으로 parameter-space distillation에서는 교사가 성공한 궤적을 수집해 학생에 LoRA 어댑터만 학습시키고 베이스 파라미터는 고정한 채 next-token 예측 손실로 행동 정책을 모방한다.

달라지는 점과 정량적 효과: 이 접근은 '무엇을 보게 하느냐'와 '어떻게 행동하느냐'를 분리해 각각을 강화함으로써 상호보완적 이득을 낸다. 실험에서 Qwen3-4B-Instruct는 MemP(학생이 생성한 메모리)만으로도 상당한 개선을 보였으나, 교사 메모리 전치(CD)와 LoRA 훈련을 결합한 DuoMem은 4.3%에서 77.9%로 성능을 대폭 향상시켰다. 또한 LoRA 어댑터는 수백만 파라미터 수준의 추가만으로 행동 성능을 대폭 개선해 엣지 지연과 저장 오버헤드를 실용적인 범위로 유지했다.

방법론

전체 접근과 핵심 아이디어: DuoMem은 오프라인 단계에서 교사가 훈련 작업들을 풀어 성공 궤적과 요약 스크립트를 생성하고 이를 두 가지 경로로 활용한다. 하나는 teacher-generated procedural memories를 저장해 학생의 인퍼런스 입력에 전치하는 context-space distillation이고, 다른 하나는 성공 궤적을 모아 학생 모델에 LoRA 어댑터만 학습시키는 parameter-space distillation이다. 최종 배포 시 학생은 교사 메모리를 입력으로 받고 LoRA가 적용된 상태로 행동을 생성한다.

context-space 세부 메커니즘: 교사는 모든 완료된 궤적에 대해 f_extract로 요약 스크립트를 생성해 메모리 뱅크에 텍스트 파일로 저장한다. 인퍼런스에서는 작업 설명의 임베딩과 메모리 항목 임베딩의 코사인 유사도(논문에서는 OpenAI text-embedding-3-small 사용)로 상위 k개를 검색해 입력 앞부분에 concatenation한다. 논문 실험에서는 각 스크립트 평균 약 70 토큰, 참조 궤적 평균 약 480 토큰, MemP 구성(k=10 스크립트 + 1 참조)으로 약 1,200 토큰의 추가 컨텍스트를 사용했고 전체 메모리 저장소는 수 MB 수준이었다.

parameter-space(LoRA) 상세: 교사는 각 학습 작업을 최대 3–5회 시도해 성공 궤적만 보존했고 총 11,434개의 성공 궤적을 수집했다. LoRA 어댑터는 rank r∈{8,16,32}와 learning rate 탐색(10⁻⁶~5×10⁻⁵)을 통해 하이퍼파라미터를 선택했으며 α/r=2를 고정했다. 입력 구성은 Full History, Last-5, Latest Only 세 전략을 비교한 결과 Full History가 가장 우수했으며, 각 교사 궤적의 모든 결정점에 대해 next-token 예측 손실로 어댑터를 학습했다.

조합과 배포 파이프라인: DuoMem은 먼저 학생에 LoRA를 학습시키고(오프라인), 이후 인퍼런스 시 teacher-generated memories를 prepending한 입력을 LoRA적용 학생에 제공한다. 이 파이프라인은 교사 궤적 생성 비용을 한 번만 지불하면 다양한 학생 아키텍처에 재사용할 수 있도록 설계되어 온디바이스 적용성 측면에서 효율적이다.

주요 결과

메인 벤치마크 성능: ALFWorld 테스트에서 DuoMem은 Qwen3-4B-Instruct의 성공률을 No Memory 기준 4.3%에서 MemP+CD+LoRA 구성으로 77.9%까지 향상시켜 72B 교사(Qwen2.5-72B-Instruct)의 87.1%에 근접했다. 다른 소형 모델들에서도 유사한 패턴이 관찰되었고, 예컨대 Gemma4-E2B-it는 2.1%에서 55.7%로 상승하는 등 2B–12B 범위의 학생들에게서 큰 개선이 나타났다. 표와 실험 결과는 context-space와 parameter-space의 결합이 단독 적용보다 우수하다는 점을 일관되게 보여준다.

Ablation 및 구성 요소 기여: 문맥 증류(CD)는 작은 모델에서 특히 강한 이득을 보였고, 파라미터 증류(LoRA)는 행동 정책 자체를 개선해 메모리가 없을 때조차 성능을 크게 올렸다. 개별 실험에서 Qwen3-4B의 경우 MemP만으로도 55.0%였으나 LoRA를 더하면 72.1%가 되고 CD를 추가해 DuoMem에서는 77.9%에 도달했다. 또한 어떤 모델은 LoRA의 이득이 적거나 음수로 나타나기도 했는데 이는 학생과 교사 간 능력 차이나 모델의 기본 역량에 따라 전이 효과가 달라지기 때문이었다.

효율성 및 배포 지표: DuoMem 적용 시 추가 LoRA 파라미터는 수백만 개(예: Qwen3-4B r=8에서 5.9M) 수준이고 저장 오버헤드는 수십 MB(bf16 기준)로 제약된 환경에서 수용 가능한 수준이었다. Qwen3-4B-Instruct DuoMem 구성은 평균 실행 시간을 18.49초(무기억)에서 4.89초로 줄여 72B 교사 대비 약 3.4배 빠른 처리 속도를 기록했고 성공률은 크게 향상되어 엣지 실시간 응용에 적합함을 보였다.

기술 상세

전체 아키텍처 개요: DuoMem 파이프라인은 교사 모델(Qwen2.5-72B-Instruct)을 사용해 훈련 집합의 각 작업을 여러 번 시도해 성공 궤적을 수집하고, 각 궤적을 요약한 procedural memory 스크립트를 저장하는 오프라인 단계와 학생에 LoRA 어댑터를 학습시키는 단계로 구성된다. 인퍼런스 시에는 학생 입력에 retrieval로 선택된 teacher-generated memories(k개)를 prepending하고 LoRA가 적용된 학생이 행동을 생성한다. 이 구조는 입력 수준의 지식 보강과 파라미터 수준의 행동 개선을 분리해 각각의 장점을 활용한다.

핵심 메커니즘의 수학적/알고리즘적 기반: 메모리 검색은 임베딩 코사인 유사도로 수행되며 논문은 OpenAI text-embedding-3-small을 사용해 메모리와 작업 설명의 유사도를 계산한다. LoRA 학습은 next-token 예측 손실로 구성되어 ℒ = −Σ log p_{θ_S+Δθ}(y_t | x, y_{<t}) 형태로 어댑터 Δθ만 업데이트한다. LoRA 하이퍼파라미터 탐색은 r∈{8,16,32}와 lr∈{10^{-6},5×10^{-6},10^{-5},5×10^{-5}}를 사용했고 α/r=2로 고정했다.

구현 및 학습 세부사항: 교사는 3,553개의 학습 작업을 3–4회 시도해 총 11,546 인스턴스를 생성했고 최종적으로 11,434개의 성공 궤적을 확보했다. LoRA 학습은 Full History 입력 전략이 최상으로 나타났으며, 각 궤적의 모든 결정 지점이 학습 샘플로 사용되어 모델이 초기 관찰부터 후속 행동까지의 절차적 동학을 학습하도록 구성했다. LoRA 파라미터는 모델별로 수백만~수천만 개 수준이며 예컨대 Qwen3-4B r=8은 5.9M 파라미터를 추가해 저장 오버헤드는 약 12MB(bf16) 수준이었다.

리소스 및 비용 측면: teacher-generated memories 전체 저장 공간은 수 MB였고 각 스크립트 평균 70 토큰, 참조 궤적 평균 480 토큰으로 측정되었다. MemP 구성(k=10+trajectory)은 평균 약 1,200토큰의 추가 컨텍스트를 요구하며 이것이 인퍼런스 지연에 일정한 영향을 주나 전체 성능 대비 비용은 작았다. 논문 실험은 2×A100(80GB) 서버에서 수행한 벽시계 시간 측정을 포함하고 있으므로 엣지 NPU 같은 실제 하드웨어에서의 추가 프로파일링이 필요하다.

한계점

명시된 평가 한계 중 하나는 실험이 ALFWorld 벤치마크에 국한되어 있다는 점으로, 논문은 ALFWorld를 절차적 메모리에 대한 표준화된 평가 환경으로 채택했으나 다른 도메인(예: 웹 내비게이션, 코드 생성)에서의 일반화는 추가 검증이 필요함을 밝힌다. 두 번째 한계는 단일 교사 모델(Qwen2.5-72B-Instruct)만 사용했다는 점으로, 논문은 다중 교사 앙상블이나 반복적 self-distillation이 추가로 성능을 끌어올릴 수 있다고 표기해 향후 연구 방향을 열어두었다. 세 번째 한계는 효율성 분석이 서버 GPU(2×A100)에서의 벽시계 시간에 기반해 수행되어 실제 엣지 하드웨어 상의 end-to-end 지연 프로파일링은 별도의 평가가 필요하다는 점이다.

실무 활용

DuoMem은 작은 LLM을 사용해 절차적 작업을 안정적으로 수행할 필요가 있는 엣지 장치에서 즉시 적용 가능한 접근법이다. 문맥에 교사 메모리를 전치하면 추가 학습 없이도 성능을 상당 부분 회복할 수 있고, LoRA 어댑터는 적은 파라미터만으로 행동 정책을 개선해 런타임 지연을 줄인다. 오프라인으로 생성된 교사 메모리는 수 MB 수준으로 저장 부담이 작아 모바일·로봇·임베디드 시스템에서 실무적인 이점을 제공한다.

로컬 리소스 제약이 있는 모바일 앱에서의 다단계 작업 자동화 예: 가정용 시나리오에서 텍스트 기반 지시를 따르는 에이전트
로봇의 임베디드 제어 루프에서 절차적 스킬을 빠르게 재현해야 하는 상황
클라우드 접근이 제한된 환경에서의 에이전트 배포로, 대형 교사를 오프라인에서 증류해 경량 학생으로 배포하는 워크플로

코드 공개 여부: 비공개

키워드

procedural memory(절차적 메모리)distillation(지식 증류)LoRA(저랭크 어댑터)ALFWorld(임베디드 의사결정 벤치마크)context-space distillation(컨텍스트-공간 증류)parameter-space distillation(파라미터-공간 증류)on-device(온디바이스)

용어 해설

절차적 메모리(Procedural Memory): — 에이전트의 과거 상호작용 궤적에서 성공적 전략을 요약한 구조화된 지식으로, 반복적 작업에서 재사용 가능한 스크립트 형태로 저장되어 새로운 유사 작업의 계획과 실행을 가속화한다. 본 논문에서는 teacher가 생성한 요약 스크립트 또는 전체 참조 궤적을 student의 입력에 전치해 성능을 향상시키는 핵심 자원으로 사용하였다. 절차적 메모리는 작은 모델이 자체적으로 생성하는 낮은 품질 요약의 한계를 보완하는 역할을 한다.
컨텍스트-공간 증류(Context-Space Distillation): — 교사 모델이 오프라인으로 생성한 고품질의 절차적 메모리를 저장해 학생 모델의 입력 앞부분에 전치하는 방법으로, 학생 파라미터를 변경하지 않고 문맥 자체를 고급 지식으로 채운다. 검색은 저장된 메모리의 임베딩과 작업 설명의 코사인 유사도로 상위 k개를 선택하는 방식으로 이루어진다. 실험에서는 teacher-generated memories를 미리 생성해 수 MB 단위로 저장하고 k=10 등을 사용해 성능을 향상시켰다.
파라미터-공간 증류(Parameter-Space Distillation): — 교사가 생성한 성공 궤적을 이용해 학생 모델에 LoRA 같은 저랭크 어댑터를 파인튜닝해 행동 정책 자체를 개선하는 방법이다. 입력-출력 쌍(시스템 프롬프트·환경·이전 관찰과 행동)을 next-token 예측으로 학습하며, 베이스 모델은 고정하고 adapter 파라미터만 업데이트한다. 이 방식으로 작은 모델이 교사의 행동 패턴을 모방해 절차적 문제 해결 능력이 향상된다.
시맨틱 임베딩 검색(Semantic Embedding Retrieval): — 작업 설명과 저장된 메모리 항목을 동일한 임베딩 공간으로 변환한 뒤 코사인 유사도로 관련 메모리를 랭킹해 상위 항목을 선택하는 검색 기법이다. 본 논문에서는 OpenAI의 text-embedding-3-small 임베딩을 사용해 메모리 매칭을 수행하고 k개의 메모리를 학생 입력에 전치했다. 이 방식은 메모리의 관련성을 정량적으로 비교해 인퍼런스 시 조회 정확도를 확보한다.

DuoMem: 이중 공간 증류를 통한 온디바이스 메모리 에이전트 역량 강화

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드