AltNet: 강화학습의 가소성-안정성 딜레마 해결을 위한 쌍둥이 네트워크 접근법

• •강화학습 에이전트는 학습 지속에 따라 새로운 정보 수용 능력이 감소하는 Plasticity Loss를 겪음
• •파라미터 리셋은 가소성을 회복시키지만 일시적인 성능 하락인 Performance Drop을 유발함
• •안정성과 가소성 사이의 균형을 맞추는 것이 지속 가능한 강화학습의 핵심 과제임

가소성 손실은 신경망이 특정 데이터 분포에 과적합되어 가중치의 변화 폭이 줄어들 때 주로 발생합니다.

• •Active와 Passive 네트워크가 교대로 리셋과 학습을 반복하며 가소성을 주기적으로 회복함
• •역할 교체 시스템을 통해 리셋 직후의 성능 급락을 방지하고 안정적인 학습 곡선을 유지함
• •두 네트워크 간의 지식 전이와 앵커링 메커니즘이 AltNet의 핵심 기술적 차별점임

Passive 네트워크는 Active 네트워크가 수집한 경험 데이터를 공유하여 오프-폴리시 방식으로 학습을 진행합니다.

• •AltNet은 리셋 시 발생하는 성능 하락을 제거하여 안전한 실시간 배포 및 학습을 가능케 함
• •가소성 유지 덕분에 데이터 재사용 효율이 극대화되어 Sample Efficiency가 크게 향상됨
• •비정상적 환경에서도 에이전트가 성능 붕괴 없이 지속적으로 적응할 수 있는 기반을 마련함

Sample Efficiency는 제한된 데이터로 얼마나 높은 성능을 낼 수 있는지를 측정하는 지표로 실무 비용과 직결됩니다.