AutoMem: 인지적 기술로서의 메모리 자동 학습

장기 시퀀스 문제에서 컨텍스트 창만으로는 필요한 정보를 유지하기 어려워 외부 메모리가 필수적이다. AutoMem은 메모리 조작을 에이전트의 행동으로 취급해 구조적 스캐폴드와 파라메트릭 숙련도를 모두 자동 최적화함으로써 메모리 관리만으로도 성능을 크게 개선했다. 이 접근은 모델 규모 대신 메모리 관리 자체를 고수익 최적화 대상으로 삼아 장기 과제에서 실용적인 성능 향상을 가능하게 했다.

장기 과제의 핵심 문제는 모델의 고정된 컨텍스트 창이 작업 전반에서 필요한 정보를 담아내지 못한다는 점이다. Transformer 계열 모델은 입력 토큰에 대해 attention을 계산해 의사결정을 하지만, 에피소드 길이가 수만 스텝에 이르면 필요한 과거 정보가 컨텍스트에 남아있지 않거나 과도하게 중복되어 모델이 집중해야 할 정보를 잃는다. 이 때문에 단순한 리트리벌이나 요약만으로는 지연된 결과를 야기하는 메모리 실수를 효과적으로 고칠 수 없다.

AutoMem의 해결 원리는 메모리 조작을 명시적 행동으로 만들어 모든 메모리 결정이 행동 궤적으로 남도록 하는 것이다. 파일 시스템 상의 읽기·쓰기·검색·업서트 같은 연산을 에이전트의 행동 어휘에 포함시키면 메타-LLM이 전체 에피소드를 읽고 언제 어떤 메모리 결정이 실패를 야기했는지 판단할 수 있다. 이 구조는 코드·프롬프트·파일 스키마를 수정하는 구조적 개선과 모델 가중치를 훈련해 메모리 결정을 내리는 능력을 향상시키는 두 축을 모두 자동화할 수 있게 한다.

구체적 이득은 두 축의 분리에서 나온다. 먼저 스캐폴드 수정은 중복 로그 제거나 자동 동기화 파일 추가로 에이전트가 관리해야 할 메모리 부하를 급감시켜 per-step 컨텍스트 크기를 줄인다. 그 다음 전문화된 메모리 모델(LoRA)을 훈련하면 '검색 후 기록' 규율과 같은 바람직한 패턴이 파라메트릭으로 내재화되어 메모리 연산 효율이 더 증가한다. 이 조합은 모델의 행동 정책을 직접 변경하지 않고도 장기 과제의 성능을 크게 끌어올린다.

전체 접근 방식은 내부 루프 에이전트와 두 개의 외부 루프로 구성된 이중 최적화 아키텍처다. 내부 루프 에이전트는 파일 시스템을 외부 메모리로 사용하며 각 타임스텝에서 LOG 루틴과 PLAN 루틴을 실행해 각각 '무엇을 기록할지'와 '지금 행동하기 위해 무엇을 회상할지'를 결정한다. 이 행동 공간 설계는 메타-LLM이 전체 궤적을 관찰해 구조적 문제를 찾아내는 것이 가능하도록 만든다.

외부 루프 #1은 스캐폴드 최적화 루프다. 메타-LLM이 전체 에피소드 로그, 에이전트 코드, 생성된 메모리 디렉터리를 입력으로 받아 실패 패턴을 식별하고 코드·프롬프트·파일 스키마를 재작성한다. 각 재작성은 이전 버전과 동일한 고정 시드에서 평가되어 평균 진행도가 향상될 때만 채택되며 이 반복은 두세 번에서 다섯 번 수준의 수렴까지 실행된다.

외부 루프 #2는 메모리 전문성 훈련 루프다. 메타-LLM은 많은 에피소드에서 에이전트가 실제로 만든 메모리 행동 중 '강화할 가치가 있는' 사례를 선별해 감독 학습 데이터로 구성한다. 이 선별된 데이터와 그에 맞춘 LoRA 구성(ranks, 학습률 등)을 함께 탐색하며 반복 평가를 통해 데이터-구성-하이퍼파라미터 조합을 정제한다. 메모리 전문 모델은 LoRA로 미세조정되어 LOG 루틴과 PLAN의 메모리 상담 부분을 담당하고, 게임플레이 모델은 고정된 채로 남아 액션 형식의 능력은 보존된다.

스캐폴드 최적화만으로도 세 환경에서 유의미한 성능 향상이 관찰되었다. Crafter에서 진행률은 25.0%에서 47.27%로 약 1.89배 향상했으며 MiniHack은 7.5%에서 27.5%로 약 3.67배, NetHack은 0.42%에서 1.57%로 약 3.74배 향상했다. 이러한 향상은 모델 가중치를 변경하지 않은 채 구조적 개선만으로 달성되었다.

메모리 전문화(LoRA)를 추가하면 추가 이득이 발생했다. 스캐폴드 이후 메모리 훈련은 Crafter에서 47.27%에서 51.36%로, MiniHack에서 27.5%에서 30.0%로, NetHack에서 1.57%에서 1.85%로 각각 상승했다. 로그 단계에서 쓰기 대비 검색 비율이 Crafter 0.84→0.39, MiniHack 2.89→0.82, NetHack 4.66→1.31로 낮아져 '검색 후 기록' 패턴이 수치적으로 입증되었다.

성능 비교 관점에서 스캐폴드와 메모리 전문화를 적용한 Qwen2.5-32B-Instruct 에이전트는 동일 벤치마크의 더 큰 오픈 가중치 모델(Qwen2.5-72B-Instruct)과 일부 상용 프론티어 모델 범위에 근접하거나 유사한 성능을 보였다. 이 결과는 메모리 관리를 목표로 한 최적화가 장기 과제에서 모델 스케일보다 더 높은 레버리지를 제공할 수 있음을 지시한다.

전체 아키텍처는 내부 루프 에이전트(파일 시스템 메모리)와 두 개의 외부 루프로 구성되어 있다. 내부 루프는 매 스텝마다 LOG와 PLAN을 실행하며 메모리 조작은 에이전트의 행동 토큰으로 직렬화되어 로그에 남는다. 이 설계는 메타-LLM이 전체 에피소드 레벨로 실패 원인을 추적할 수 있게 한다.

스캐폴드 최적화 단계에서는 메타-LLM이 전체 에피소드 로그와 현재 에이전트 코드를 입력으로 받아 코드와 파일 스키마를 수정한다. 구체적 변경으로는 append-only 지도 파일을 좌표 기반 <|UPSERT_MAP|> 형식으로 바꿔 중복 항목을 덮어쓰게 하는 방식과 자동 동기화되는 inventory/status 파일 추가 등이 포함되며 이러한 변경은 per-step 입력 토큰 수를 크게 줄였다. 각 수정은 고정 시드에서의 평균 진행도 향상으로 gating되어 채택 여부가 결정된다.

메모리 전문화 단계는 메타-LLM이 좋은 메모리 행동을 선별해 LoRA로 미세조정할 소규모 데이터셋을 구성하는 프로세스를 포함한다. 이 과정에서 데이터 선택 기준, 샘플 크기, LoRA 하이퍼파라미터 조합을 함께 탐색해 데이터-구성-학습 구성의 매칭을 찾는다. 배포 시에는 메모리 전문 모델이 LOG와 PLAN의 메모리 관련 부분을 담당하고 게임플레이 모델은 고정된 채로 동작해 메모리 능력만을 분리해 강화한다.

실험 설정은 Qwen2.5-32B-Instruct를 내부 루프 모델로 사용하고 vLLM으로 서빙했으며, 외부 루프의 메타-LLM은 Claude Opus 계열을 사용했다. 메트릭은 BALROG의 progression rate를 채택해 각 환경별 seed 집합에서 평균과 표준오차를 보고했다. 스캐폴드 수렴은 보통 2–5 반복에서 관찰되었고 메모리 전문화는 스캐폴드가 닿을 수 있는 상한을 더 끌어올리는 역할을 했다.

연구는 세 가지 한계를 논문에서 명시하고 있다. 첫째, 본 실험의 메모리는 에피소드 단위로 초기화되는 episodic memory로 설계되어 에피소드 간 지속 메모리를 다루지 않는다. 둘째, 모든 평가가 게임 환경(Crafter, MiniHack, NetHack)에 한정되어 있어 실제 작업 도메인에 대한 직접적 일반화는 추가 검증이 필요하다. 셋째, 현재 설정에서는 환경별로 별도의 스캐폴드와 메모리 전문 모델을 최적화했으며 하나의 공통 스캐폴드나 전문 모델이 여러 환경에 걸쳐 유효한지 여부는 향후 연구 과제로 남아 있다.