GYRO: 기하학적 진동 제거를 통한 새로운 PyTorch 옵티마이저 제안

작성자가 피드백을 구하는 단계이며, 기하학적 접근 방식의 타당성과 기존 최적화 기법과의 유사성에 대한 논의가 예상된다.

• 진동이 심한 손실 지형을 가진 모델 학습 시 GYROAdam을 적용하여 수렴 안정성을 테스트해 볼 수 있다.
• 학습 초기 단계에서 theta_base와 proj_factor 값을 조정하며 모델에 최적화된 진동 억제 수준을 찾아야 한다.

• GYRO는 Adam의 모멘텀 버퍼를 활용해 기하학적으로 진동을 감지하고 제거함으로써 좁은 협곡 문제를 완화한다.
• 메모리 추가 사용 없이 파라미터당 내적 및 노름 계산만으로 구현되어 연산 비용 효율성이 높다.
• CIFAR-10에서 1% 수준의 정확도 향상을 보였으나 트랜스포머 모델에서는 AdamW 대비 성능 우위가 명확하지 않아 추가 검증이 필요하다.