LLM용 Fast-Slow Training(FST): 빠른 컨텍스트 업데이트와 느린 파라미터 보존으로 학습 효율성과 일반화 개선

LLM은 파라미터 업데이트를 통해 task-specific 정보를 흡수하면 기존 일반화가 손상될 수 있다. 반대로 in-context learning은 파라미터를 바꾸지 않아도 적응 가능하지만 성능은 한계가 있다. Fast-Slow Training은 fast weights를 통한 컨텍스트 학습으로 task-specific 정보를 빠르게 축적하되 slow weights는 base 모델의 지식을 유지하여 catastrophic forgetting을 줄이고, 새로운 태스크에 대한 적응력을 높인다. 이로써 샘플 효율성과 Plasticity를 동시에 개선한다.

출발점: Transformer의 Self-Attention은 입력 길이에 비례한 계산복잡도로 긴 시퀀스에서 비용이 커진다. 기존 학습 방식은 파라미터 업데이트를 통해 task 정보를 흡수하는 반면, in-context learning은 파라미터 변경 없이 적응하는 한계가 있다. 해결 원리: FST는 slow weights와 fast weights의 이중 구성을 통해 두 가지 학습 특성을 결합한다. fast weights는 텍스트 피드백으로 task-specific 정보를 저장하고, slow weights는 base 모델의 일반화된 지식과 성능을 보존한다. 달라지는 점: 샘플 효율성 증가, KL 발산 감소, 그리고 새로운 태스크에 대한 적응력 증가가 나타난다.

단락1: 전체 접근 방식은 slow weights와 fast weights를 분리하여 학습하는 하이브리드 프레임워크이다. 입력은 컨텍스트 프롬프트와 함께 모델 파라미터를 구성한다. 단락2: 핵심 메커니즘은 Context Pool(빠른 컨텍스트를 저장하는 저장소)와 Rollouts를 통한 피드백에 기반한 fast weights 업데이트이다. 입력 → 컨텍스트 프롬프트 생성 → fast weights 업데이트 → 출력. 단락3: 학습 전략은 텍스트 피드백에 의한 gradient descent 기반 업데이트로, slow weights 업데이트와 fast weights 업데이트를 분리해 수행한다. 단락4: 이론적 기반은 in-context learning과 parameter-efficient 학습 사이의 트레이드오프를 완화하는 프레임워크로, task 간 drift를 줄이고 적응성을 유지한다.

메인 벤치마크 결과: CodeO, Math(Polaris), HoVer-hard, HoVer 등에서 FST가 RL 대비 개선을 보였으나, CodeO에서는 RL이 더 높은 OOD 평균 성능을 보인 경우도 있었다. 예를 들어 CodeO의 OOD_avg은 Base 41.0, RL 51.1, FST 49.7로 RL이 우수했다. HoVer의 OOD_avg은 Base 26.9, RL 36.2, FST 36.5로 FST가 RL보다 약간 우세했다. Math(Polaris)의 OOD_avg은 RL과 FST가 각각 36.2와 36.5로 비슷하나, 상황에 따라 FST가 더 나은 일반화 성질을 보였다. HoVer-hard의 최종 성능은 Base 47.5, RL 48.3, FST 48.4로 FST가 가장 높은 값에 근접했다. 전반적으로 FST는 샘플 효율성 및 메타-성능의 개선 여지를 보였고, 특정 도메인에서 로버스트한 개선을 확인할 수 있다.

단락1: 전체 아키텍처 구조는 Trainable Parameters(모델 θ)와 Context Pool(Φ)을 중심으로, Slow Weight(θ)와 Fast Weight(Φ)의 이중 구성으로 구성된다. 단락2: 핵심 수학 기반은 fast-context 업데이트를 위한 gradient descent 기반의 피드백 학습이며, Rollouts를 통해 목표를 달성한다. 단락3: Prior work 대비 차별점은 in-context learning과 parameter-full 학습의 트레이드오프를 하나의 프레임워크에서 모두 다루는 점이다. 단락4: 구현 및 학습 세부사항은 컨텍스트 프롬프트의 형식, 빠른 업데이트 주기, 다양한 태스크에 대한 순차 학습 전략 등으로 구성되어 있다.