지속적 학습을 위한 메모리 효율적 귀납적 편향으로서의 추상화

AI 모델이 새로운 정보를 배울 때 과거 지식을 잊어버리는 문제를 해결하기 위해 보통 방대한 과거 데이터를 저장해야 하지만, 이 논문은 데이터의 '추상적 구조'를 함께 학습하는 것만으로도 이를 방지할 수 있음을 보여줍니다. 추가 메모리 사용 없이 기존 방식과 대등한 성능을 내어 자원이 제한된 환경에서도 효율적인 인공지능 학습이 가능해집니다.

기존의 온라인 지속적 학습은 데이터가 한 번 지나가면 다시 볼 수 없기 때문에 새로운 데이터를 배울 때 과거 지식이 덮어씌워지는 파괴적 망각이 발생한다. 이를 막기 위해 과거 데이터를 저장해두는 방식은 메모리 비용이 크다. 본 논문은 인간이 개별 사건보다 공통된 '추상적 스키마'를 형성한다는 인지과학적 원리에 착안하여, 모델이 구체적인 개체 이름보다는 데이터 이면의 관계적 구조를 학습하도록 유도한다. 예를 들어 특정 인물 간의 관계 대신 'A가 B의 부모이다'라는 추상적 템플릿을 함께 학습함으로써, 모델은 개별 데이터의 노이즈에 휘둘리지 않고 안정적인 구조적 지식을 축적하게 된다. 결과적으로 메모리에 과거 데이터를 쌓아두지 않고도 마치 과거의 핵심 패턴을 복습하는 것과 같은 효과를 내어 학습 안정성을 확보한다.

AAT의 핵심은 이중 목적 손실 함수(Dual-objective Loss Function)를 통한 최적화이다. 입력 데이터가 들어오면 구체적 인스턴스와 이를 추상화한 형태(예: 개체 마스킹)를 동시에 생성한다. [구체적 사례와 추상적 템플릿의 예측값 및 정답 레이블을 입력으로] → [각각의 Negative Log-Likelihood를 계산하고 가중치 alpha로 가중 평균을 내어] → [최종 결합 손실을 얻고] → [이 값이 작아지는 방향으로 모델 가중치를 갱신하여 구조적 특징을 우선 학습한다]. 또한 동일 배치 내에서 n번 반복 업데이트하는 로컬 리플레이(Local Replay)를 수행한다. 첫 번째 단계에서는 추상화 손실을 포함해 구조를 잡고, 이후 단계에서는 구체적 사례를 학습하여 세부 사실을 보존한다. 이러한 방식은 모델이 표면적인 단어 일치에 의존하지 않고 고차원적인 논리적 추론을 수행하도록 강제하는 정규화 역할을 수행한다.

RCB 벤치마크 실험 결과, AAT는 Qwen2.5-1.5B 모델 기준 메모리 버퍼를 사용하는 강력한 Experience Replay(ER) 베이스라인과 대등하거나 이를 능가하는 성능을 보였다. 특히 전체 누적 정확도에서 ER 대비 0.64% 향상된 결과를 얻었으며, 이는 추가 메모리 점유가 전혀 없는 상태에서 달성되었다. 손실 지형 분석에서는 추상화 손실 추가 시 손실 표면의 분산이 17.00% 감소하고 변동 계수가 0.1549에서 0.1375로 낮아져 최적화 안정성이 확인되었다. NAB 데이터셋에서도 AAT는 알려지지 않은 서사에 대해 가장 높은 정확도와 가장 낮은 망각률을 기록하며 새로운 도메인으로의 구조적 일반화 능력을 입증했다.

AAT는 온라인 지속적 학습(OCL) 환경에서 발생하는 안정성-가소성 딜레마를 해결하기 위해 설계되었다. 수학적으로 모델 인코더의 출력을 구조적 특징과 인스턴스 특화 신호의 합으로 정의할 때, AAT는 인스턴스 특화 신호의 영향을 억제하고 구조적 특징에 대한 가중치를 높인다. [입력 데이터의 구조 정보와 개체 정보를 입력으로] → [인코더를 통해 각각의 벡터 표현을 생성하고 합산하여] → [최종 임베딩을 출력하고] → [추상화 손실을 통해 개체 정보의 기울기 분산을 줄여 구조 정보의 비중을 높인다]. 제안된 RCB 벤치마크는 51개의 관계 유형과 1,245개의 인스턴스로 구성되어 SFT 중에도 구조적 추론 능력을 평가할 수 있게 하며, NAB는 격언을 매개로 모델이 단순 단어 중복이 아닌 논리적 모티프를 이해하는지 측정한다.

실험이 Qwen2.5-1.5B 및 SmolLM-1.7B 등 상대적으로 작은 규모의 모델에 국한되어 대규모 언어 모델(LLM)에서의 확장성 검증이 추가로 필요하다. 또한 추상화 생성을 위해 명시적이고 반복적인 패턴에 의존하는 경향이 있어, 더 복잡하고 암시적인 언어 구조에 대한 적용 연구가 요구된다.