대규모 모델 학습을 위한 옵티마이저 선택을 정리한 OmniOpt: 메타파이프라인·LMO·교차 도메인 벤치북

옵티마이저 선택이 대규모 모델 학습 성능과 리소스 효율에 직접적인 영향을 미치지만, 백여 개가 넘는 방법이 상호비교 없이 흩어져 있어 실무자가 합리적으로 선택하기 어려운 문제가 존재한다. 이 논문은 옵티마이저 업데이트를 구조화하고 서로 다른 방법을 동일한 추상적 연산으로 환원하므로 비교 가능성을 높인다. 그 결과 연구자와 엔지니어가 계산·메모리·튜닝 예산과 목표에 따라 더 명확한 선택을 할 수 있는 실용적 지도를 제공한다.

대규모 모델 학습에서 옵티마이저는 단순히 손실을 줄이는 도구가 아니라 계산·메모리·하이퍼파라미터 튜닝 예산과 직결되는 설계 요소이다. 기존 문헌은 서로 다른 메커니즘과 목표를 별개로 제시한 사례가 많아 실제 조건 하에서 어느 방법이 유리한지 판별하기 어려웠다. 이 논문은 문제의 출발점을 옵티마이저 업데이트의 구조 자체로 잡아, 추상적 단계로 분해하는 접근을 취했다.

메타파이프라인은 업데이트를 일련의 구조적 단계로 재정의해 각 단계에서 수행되는 연산을 명확히 나눈다. 이러한 분해는 동일한 전체 목표를 달성하는 데 각 옵티마이저가 어떤 단계에서 기여하는지를 드러내고, 특정 단계에 집중한 개선이 전체 성능에 미치는 영향을 분리해 관찰할 수 있게 만든다. 병목이나 비용 제약이 존재하는 실제 학습 환경에서 어느 단계의 설계가 더 큰 효율 이득을 내는지 판단하는 근거를 제공한다.

LMO 관점은 다양한 옵티마이저의 핵심 연산을 노름 제약을 만족하는 선형 최적화 문제로 환원해 메커니즘 수준에서 공통분모를 찾는다. 이로 인해 모멘텀·적응적 스케일링·프리컨디셔닝 등 서로 다른 기법을 동일한 산술적 틀에서 비교할 수 있으며, 각 메커니즘이 어떤 훈련 목적에 기여하는지를 정량적으로 매핑할 수 있다. 궁극적으로 이 접근은 옵티마이저 선택을 단일 기술 선호가 아닌 메커니즘과 목표의 교차점으로 재정의한다.

전체 접근은 네 가지 결합 요소로 구성되며, 그중 핵심은 업데이트를 다섯 단계 메타파이프라인으로 구조화하고 LMO로 핵심 연산을 통일하는 것이다. 첫 번째 구성은 파이프라인을 정의해 각 옵티마이저를 파이프라인의 어느 단계에서 동작하는지로 맵핑하는 과정이다. 두 번째 구성은 norm-constrained linear minimization oracle을 통해 다양한 업데이트 규칙을 동일한 추상 연산으로 환원하는 부분으로, 이 두 구성은 분류와 실험 설계의 수학적 기반을 이룬다.

메커니즘-목표 이중 차원 분류는 각 기법을 메커니즘 계열과 향상시키려는 구체적 훈련 목표로 배치해 비교 가능성을 확보한다. 분류 결과는 벤치마크 설계에서 어떤 옵티마이저를 어떤 조건에서 시험할지 선택하는 기준으로 사용되며, 동일한 목표를 가진 다양한 메커니즘의 성능 차이를 검증하도록 실험군을 구성한다. 마지막 구성은 교차 도메인 벤치마크의 실제 인스턴스화로, 언어 모델 사전학습과 이미지 분류 등 서로 다른 학습 레짐과 모델 스케일을 포함해 방법군별 성능과 트레이드오프를 확인하는 실험을 포함한다.

논문은 제안한 분류를 바탕으로 대표 옵티마이저를 포함한 교차 도메인 벤치마크를 구축해 각 옵티마이저 패밀리의 성능 프로파일을 도출했다. 벤치마크는 모델 스케일과 학습 레짐을 달리한 설정들을 포함해 메커니즘별로 어떤 훈련 목표에 강점과 약점을 가지는지를 드러냈다. 실험 결과는 옵티마이저 선택이 단일 지표에 의존하지 않으며, 특정 메커니즘이 특정 목표와 자원 제약에서 유리함을 보여 주는 일련의 트레이드오프를 제공한다.

전체 구조는 업데이트를 다섯 단계로 나누는 메타파이프라인, LMO 기반 통일 관점, 메커니즘-목표 이중축 분류, 교차 도메인 벤치마크의 네 요소로 구성된다. 메타파이프라인은 각 단계에서 수행되는 연산을 명시해 어떤 옵티마이저가 어느 단계에 영향을 미치는지 구분하고, LMO는 여러 기법의 핵심 선형 연산을 동일한 제약 문제로 환원한다. 이 결합은 메커니즘 수준의 비교를 수학적·실험적으로 가능하게 한다.

알고리즘적 기반으로 LMO 관점은 노름 제약 하에서의 선형화된 목적 최적화를 통해 업데이트 방향을 선택하는 추상적 연산을 제공한다. 이 관점은 적응적 스케일링, 모멘텀, 프리컨디셔닝 등 다양한 설계 요소를 동일한 산술적 틀에 맞춰 해석하게 하므로 메커니즘 간 기능적 차이를 정량적으로 대조할 수 있다. 논문은 이러한 수학적 환원을 분류의 핵심으로 삼아 각 옵티마이저가 달성하려는 구체적 훈련 목표와 연결했다.

벤치마크 구성은 대표 옵티마이저 패밀리와 모델 스케일, 학습 레짐을 포괄하도록 설계되어 서로 다른 조건에서의 성능 편차를 확인하도록 구성되었다. 실험은 메커니즘별 성능, 다중 목표에 대한 트레이드오프, 그리고 모델 스케일 변화에 따른 민감도를 관찰하는 데 집중했다. 논문은 각 실험군의 설정을 통해 어떠한 메커니즘이 어떤 목표에서 우수한지와 자원 제약에 따른 선택 기준을 도출했다.

Prior work와의 차별점은 옵티마이저를 개별 기법 수준이 아닌 메커니즘과 목표의 교차점으로 재구성하고, 이를 실제 교차 도메인 벤치마크로 연결해 실무적 선택 가이드를 제공한 점이다. 다수의 기존 연구는 특정 메커니즘 또는 특정 데이터셋에 최적화된 결과를 보고했으나, 이 논문은 광범위한 방법군과 조건을 통합해 일반화 가능한 선택 기준을 제시한다. 구현 세부사항과 벤치마크 코드가 공개되어 재현성과 추가 비교가 가능하다.