메모리 전이 학습: 코딩 에이전트에서 도메인 간 메모리가 전이되는 방식

기존 코딩 에이전트는 특정 도메인의 경험만 활용하여 새로운 환경에 적응하는 데 한계가 있었다. 이 논문은 서로 다른 프로그래밍 언어나 환경에서도 공통적으로 적용 가능한 '메타 지식'을 추출하고 공유함으로써 에이전트의 범용적 문제 해결 능력을 높이는 방법을 제시한다.

기존의 자기 진화형 에이전트는 특정 작업을 수행한 뒤 그 기록을 메모리에 저장하고 유사한 작업이 들어오면 이를 참조한다. 하지만 이는 마치 파이썬 코딩 경험만 있는 사람이 C++ 프로젝트를 맡았을 때 과거의 파이썬 문법을 그대로 적용하려다 실패하는 것과 같다. 도메인이 다르면 구체적인 구현 방식은 달라지기 때문에 단순한 실행 기록의 재사용은 한계가 명확하다.

이 논문은 도메인이 다르더라도 '문제를 해결하는 논리적 절차'나 '검증 방식' 같은 고차원적인 메타 지식은 공유된다는 점에 착안했다. 예를 들어 '코드를 수정하기 전에 먼저 관련 파일을 검색한다'거나 '수정 후에는 반드시 테스트 코드를 실행해본다'는 원칙은 언어와 상관없이 유효하다. 이러한 추상화된 지식을 Embedding 공간에서 관리함으로써 도메인의 경계를 넘는 지식 전이를 구현했다.

결과적으로 에이전트는 낯선 도메인의 작업을 만났을 때도 다른 도메인에서 배운 '성공하는 습관'을 꺼내어 활용한다. 이는 메모리 풀의 크기가 커질수록, 그리고 더 다양한 도메인의 경험이 쌓일수록 에이전트의 지능이 비례해서 성장할 수 있는 기반을 마련해준다.

전체 접근 방식은 메모리 생성(Generation)과 메모리 검색(Retrieval)의 두 단계로 구성된다. 먼저 다양한 벤치마크에서 에이전트를 실행하여 성공 및 실패 궤적을 수집한 뒤, 이를 Trajectory, Workflow, Summary, Insight의 네 가지 추상화 수준으로 가공하여 통합 메모리 풀을 구축한다.

핵심 메커니즘인 메모리 검색 단계에서는 현재 작업(Task)의 텍스트를 입력으로 받아 OpenAI의 text-embedding-3-small 모델을 통해 벡터화한다. [작업 설명 텍스트 → 임베딩 모델 → 고차원 벡터] 과정을 거쳐 생성된 쿼리 벡터와 메모리 풀 내의 각 메모리 벡터 간의 Cosine Similarity를 계산한다. [쿼리 벡터와 메모리 벡터 내적 → 각 벡터 크기의 곱으로 나눔 → 유사도 점수] 순으로 연산하여 가장 점수가 높은 상위 N개의 메모리를 추출한다.

추출된 메모리는 에이전트의 System Prompt에 삽입되어 추론 과정에 반영된다. 특히 Insight 형식의 경우, 특정 파일명이나 세부 수치를 제거하고 일반화된 원칙만을 남기도록 LLM에 지시하여 도메인 간 mismatch를 최소화하도록 설계했다.

GPT-5-mini 모델을 기준으로 6개 코딩 벤치마크에서 평균 3.7%의 성능 향상을 기록했다. 특히 MLGym-Bench에서는 8.3%, ReplicationBench에서는 7.8%의 큰 폭의 향상을 보였다. 이는 도메인 간 전이가 실제로 유효함을 입증하는 결과이다.

추상화 수준별 비교에서는 Insight 형식이 가장 높은 성능(평균 0.560)을 보인 반면, 가장 구체적인 Trajectory 형식은 일부 벤치마크에서 Zero-shot보다 낮은 성능을 기록하며 부정적 전이(Negative Transfer)를 유발했다. 이는 구체적인 실행 명령어가 다른 환경에서 오작동을 일으키는 'Brittle Anchoring' 현상 때문이다.

메모리 풀의 규모와 다양성에 대한 실험 결과, 메모리 소스 도메인이 2개에서 9개로 늘어날수록 성능 향상 폭이 지속적으로 증가했다. 또한 GPT-5-mini의 메모리를 Qwen3-Coder-480B에 적용했을 때도 성능이 개선되어, 고품질 모델의 경험이 하위 모델의 성능을 끌어올릴 수 있음을 확인했다.

본 연구는 메모리 임베딩 e(m)을 도메인 불변 성분(z_inv, 메타 지식)과 도메인 특화 성분(z_sp)으로 분해하는 수학적 프레임워크를 제시한다. 추상화 수준 A를 전체 임베딩 에너지 대비 z_inv의 비율로 정의했을 때, 전이 학습의 유용성 U는 transferable guidance와 domain mismatch penalty의 차이로 모델링된다. 추상화 수준 A가 높을수록 mismatch penalty가 감소하여 전이 이득이 엄격하게 증가함을 이론적으로 증명했다.

실험에 사용된 6개 벤치마크는 LiveCodeBench(알고리즘), Aider-Polyglot(다국어), SWE-bench(레포지토리 수정), TerminalBench2(쉘 인터랙션), ReplicationBench(과학 논문 구현), MLGym-Bench(머신러닝 연구)로 구성되어 도메인 이질성을 확보했다. 검색 시에는 단순 임베딩 유사도 기반 검색이 LLM을 이용한 재순위화(Reranking)나 재작성(Rewriting)보다 우수한 성능을 보였는데, 이는 에이전트의 동적인 다단계 추론 환경에서는 정적인 검색 지표가 더 안정적임을 시사한다.

도메인 간의 구조적 유사성이 너무 낮거나 잘못된 메모리가 검색될 경우, 에이전트가 잘못된 가이드에 고착되어 성능이 떨어지는 부정적 전이(Negative Transfer) 사례가 관찰되었다. 또한 현재의 정적 검색 방식은 에이전트의 동적인 상태 변화를 완벽히 반영하지 못한다는 한계가 있다.