강화학습 평가와 설계 패러다임의 원리적 분석

왜 중요한가

강화학습 연구에서 널리 사용되는 저데이터 벤치마크와 고데이터 학습 결과를 연결하는 암묵적 가정이 잘못되어 왔음을 밝힌 점이 중요하다. 이 논문은 학습 샘플 수가 적은 영역과 풍부한 영역에서 알고리즘 간 상대순위가 뒤바뀔 수 있다는 이론적 근거와 실험적 증거를 동시에 제시한다. 그 결과 기존 비교 관행으로 인해 연구 방향과 벤치마크 설계에 체계적 편향이 생겼다는 점을 정량적으로 보여 주어 평가 기준 재설계의 필요성을 제기한다.

핵심 기여

저데이터·고데이터 성능 순위의 비단조성 이론적 증명

논문은 선형 함수 근사 설정과 내재 Bellman 오류를 도입하여 특정한 차원 수 d와 오차 수준 I에 대해 저데이터 구간과 고데이터 구간에서 서로 상반되는 후행 하한과 상한을 구성했다. 이론적 결과는 존재론적 예제를 통해 작은 샘플 수에서는 낮은 표현 용량 모델이 더 나을 수 있고 충분한 샘플이 주어지면 고용량 모델이 우세해진다는 수학적 조건을 보여 주었다. 해당 정리는 성능 순위가 샘플 복잡도의 함수로 비단조적일 수 있음을 엄격하게 보장한다.

대규모 Arcade Learning Environment 실험으로 암묵적 가정 검증

Arcade Learning Environment의 100K(저데이터)와 200M(고데이터) 트레이닝을 대상으로 여러 Q계열 알고리즘을 동일한 구현 스택으로 재현하여 비교했다. 실험 결과는 dueling 아키텍처 같은 단순한 기반 알고리즘이 저데이터 구간에서 분포형 고용량 기법들보다 일관되게 우수한 경우가 많음을 보여 주었으며 원래 논문들에서 보고된 성능 이득이 재현 조건에 따라 크게 축소되거나 역전됨이 관찰되었다. 이 실험은 이론적 주장의 실질적 영향력을 경험적으로 확인해 주었다.

평가 편향을 줄이기 위한 원칙적 평가 프레임워크 제안

저자들은 암묵적 가정을 드러내고 핵심 알고리즘을 포함할 것, 모델의 내재 용량과 차원수를 고려할 것, 데이터셋 편향을 경계할 것 등 다섯 가지 평가 원칙을 정리했다. 이 프레임워크는 알고리즘 간 직접 비교를 통해 샘플 복잡도 구간별 성능을 명확히 측정하도록 설계되었으며 벤치마크 구축 시 선택 편향을 줄이는 절차적 지침을 포함한다. 목적은 연구자들이 데이터 레짐에 따른 성능 역전을 오판하지 않도록 비교 관행을 개선하는 데 있다.

핵심 아이디어 이해하기

강화학습에서는 상태-행동 값함수 Q(s,a)를 신경망으로 근사하며 이 근사의 차원이 모델의 '용량'을 결정한다. 용량이 클수록 표현력이 높아져 근사 오차(내재 Bellman 오류)가 줄어드는 경향이 있으나 동시에 동일한 정확도를 얻기 위해 요구되는 샘플 수가 증가한다는 상충관계가 존재한다. 이 때문에 샘플이 적은 구간에서는 낮은 용량의 간단한 모델이 더 안정적이고 효율적으로 동작할 수 있다. 이 논문은 위의 직관을 정형화하여 선형 함수근사 설정에서 차원 d와 내재 Bellman 오류 I의 조합이 저데이터 구간과 고데이터 구간에서 서로 다른 지배적 항을 만들 수 있음을 보였다. 구체적으로 저데이터 구간에서는 √K에 비례하는 항보다 I·K에 비례하는 항의 상대적 크기가 성능을 결정하게 되며 이로 인해 저차원 모델이 우세할 수 있다. 반대로 충분한 샘플이 주어지는 고데이터 구간에서는 근사 오차 항이 지배적으로 작용하여 고차원 모델이 장기적으로 더 낮은 후회(regret)를 달성한다. 이러한 수학적 구조 때문에 고데이터에서의 SOTA가 저데이터에서도 자동으로 최선이라는 가정이 성립하지 않는다. 분포형 방법처럼 가치의 전체 분포를 학습하는 알고리즘은 표현의 유연성 때문에 높은 샘플 복잡도를 필요로 하며 그 결과 저데이터 영역에서 오히려 성능이 떨어지거나 평가 순위가 낮아질 수 있다. 따라서 알고리즘 비교는 사용 가능한 샘플 수를 명시적으로 고려한 구간별 분석을 전제로 해야 한다.

방법론

논문은 두 축에서 접근했다. 하나는 선형 함수근사와 유한 시간 수평(finite-horizon) MDP의 수학적 설정을 통해 샘플 복잡도와 후회(regret)의 상관관계를 엄밀히 도출하는 이론적 분석이고 다른 하나는 Arcade Learning Environment(ALE)의 100K와 200M 설정에서 다양한 Q계열 알고리즘을 대규모로 재현한 실험적 검증이다. 이론 파트에서는 Theorem 3.1의 기존 결과를 바탕으로 d와 I를 매개변수로 하는 문제 클래스 C(I,d)를 구성하여 저데이터와 고데이터 임계치 K_low, K_high를 정의하였다. 이 구성은 동일한 전이구조를 가지되 표현 차원과 내재 오차를 달리한 MDP 집합을 통해 표현 용량의 역할을 분리하여 분석할 수 있게 설계되었다. 알고리즘별 비교 실험은 동일한 구현 스택(Haiku, Optax, RLax)을 사용하고 논문에서 사용한 하이퍼파라미터를 가능한 한 보존하여 수행되었다. 실험군에는 DQN, Double-DQN, dueling, C51, QR-DQN, IQN, Prioritized Replay 등 표준 Q기반 알고리즘이 포함되었으며 각 알고리즘에 대해 human-normalized score의 median, mean, 20th percentile과 학습 곡선을 보고하였다. 추가로 샘플 수를 늘릴 때 성능 역전이 어떻게 나타나는지 보기 위해 동일한 알고리즘들을 저데이터(100K)와 고데이터(200M) 조건에서 비교하는 반복 실험을 실행하였다. 수학적 부분에서는 Theorem 3.2를 통해 d의 거듭 제곱 형태로 정의된 임계치들을 제시하고 해당 구간에서 발생하는 상·하한의 차이를 추적하였다. 분포형 방법(C51, QR-DQN, IQN)에 대한 샘플 복잡도 하한은 전변이 거리 기준으로 도출되었고 이로부터 지원이 알려진 경우와 알려지지 않은 경우의 샘플 요구량 차이를 명시적으로 비교하였다. 이러한 이론-실험 결합은 모델 용량과 샘플 복잡도의 교차효과가 실제 벤치마크 순위에 미치는 영향을 규명하는 데 사용되었다.

주요 결과

실험 결과는 저데이터(ALE 100K)와 고데이터(200M) 조건에서 알고리즘 간 상대순위가 뒤바뀌는 사례가 다수 관찰되었다. 특히 dueling 아키텍처는 100K 조건에서 평균 및 중앙값 지표에서 여러 최근 기법들을 능가하는 경우가 빈번했고 원래 문헌에서 보고된 성능 이득이 재현 결과에서 크게 축소되거나 음(-)의 차이로 반전되는 경우가 발견되었다. Table 1과 Figure 2는 median과 mean, 20th percentile 지표 모두에서 저데이터 구간에서의 우위를 수치로 보여 주었다. 이론적 예측과 일치하게 d와 I를 달리한 regret 곡선은 저데이터 구간에서 낮은 차원 d가 우세한 반면 고데이터 구간에서는 고차원 d가 우세한 역전 현상을 보였다. Figure 1의 중앙 패널은 K<1000 구간에서 d=2가 가장 낮은 regret을 보였고 d=16이 가장 큰 regret을 보인 반면 우측 패널의 대규모 K에서는 순서가 반대가 되는 모습을 나타냈다. 이러한 결과는 샘플 수가 충분하지 않은 상태에서 고용량 표현을 채택하면 과도한 샘플 요구로 인해 실제 성능이 떨어질 수 있음을 구체적으로 시사한다. 추가 분석에서는 분포형 방법이 동일 성능 수준에 도달하기 위해 요구하는 환경 상호작용 수가 dueling 같은 저용량 방법보다 수십 배에서 심지어 더 큰 차이가 나는 경우가 있다는 정량적 결과가 보고되었다. 이 수치들은 분포의 지원을 모르는 모델의 샘플 복잡도가 지원이 고정된 경우보다 훨씬 클 수 있다는 Proposition 4.2의 하한과 일관되었다. 결과적으로 저데이터 벤치마크에서의 알고리즘 순위는 고데이터 지표만으로 예측할 수 없다는 결론이 실험적으로 확증되었다.

기술 상세

전체 아키텍처 관점에서 논문은 표준 Q러닝 계열의 신경망 기반 근사기를 사용한 설정을 유지하면서 모델의 표현 차원 d와 내재 Bellman 오류 I를 주된 분석 축으로 설정했다. 분포형 알고리즘은 가치의 분포 Z(s,a)를 학습하며 C51은 유한한 원자(atom) 지원을 가정하여 범주형 분포를 학습하고 QR-DQN 및 IQN은 분위수 기반 접근으로 지원을 추정한다. 이러한 구조적 차이는 표현 유연성과 샘플 요구량 간의 트레이드오프를 만들어 내며 본문 수식은 이들 모델의 샘플 복잡도 의존성을 전변이 거리와 관련된 형태로 명시한다. 알고리즘 성능의 이론적 근거로써 저자는 Theorem 3.1의 결과를 활용하여 regret bound를 두 항의 합으로 표현하였다. 첫째 항은 표현 차원 d에 곱해진 √K 항으로 표기되어 표본 수 K의 제곱근 의존성을 보여 주고 둘째 항은 √d·I·K 형태로 표현되어 내재 오차 I가 충분히 클 때 선형적 K 의존성을 유발함을 나타낸다. 이러한 형태 때문에 특정 d와 I 조합에서는 √K 항이 지배적일 때와 I·K 항이 지배적일 때가 달라져 저데이터와 고데이터 구간에서 순위가 뒤바뀐다. 분포 근사 관련하여 Proposition 4.1은 전변이 거리 ε 이내의 분포 근사가 행동 평균 순위를 보존하기 위한 필요조건이 될 수 있음을 보였고 Proposition 4.2는 지원을 모르는 분포형 파라미터화의 샘플 하한을 Ω(M/ε^2) 형태로 제시하였다. 이들 수식의 의미는 분포형 모델이 동일한 오류 ε로 수렴하려면 단순한 범주형 모델보다 더 많은 샘플을 필요로 할 수 있다는 점이며 실험 결과는 이론적 하한과 정성적으로 일치했다. 수치 예시로서 ALE 100K와 200M의 결과는 저데이터에서 분포형 모델이 dueling 대비 동등 성능에 도달하려면 수십 배의 추가 상호작용이 필요하다는 실험적 관찰을 제공하였다.

키워드

sample complexity(샘플 복잡도)inherent Bellman error(내재 Bellman 오류)distributional RL(분포형 강화학습)c51(범주형 분포형 알고리즘)arcade learning environment(Arcade Learning Environment, ALE)

용어 해설

내재 Bellman 오류(Inherent Bellman Error): — Bellman 연산자 아래에서 함수 근사가 나타내는 한계로서 실제 벨만 업데이트를 정확히 재현할 수 없는 오차이다. 이 값은 주어진 표현 공간이 환경의 가치 분포를 얼마나 정밀히 근사하는지를 정량화하며 모델 용량이나 특징 차원수에 따라 변한다. 본 논문에서는 샘플 복잡도와 용량의 상호작용을 설명하는 핵심 매개변수로 사용된다.
샘플 복잡도(Sample Complexity): — 주어진 신뢰도와 정확도를 달성하기 위해 요구되는 환경 상호작용 수로 정의되는 수치적 자원이다. 강화학습에서는 에피소드 수 또는 프레임 수로 측정되며 저데이터(예: 100K)와 고데이터(예: 200M) regime를 가르는 기준으로 사용된다. 본 논문은 서로 다른 샘플 복잡도 구간에서 알고리즘 순위가 뒤바뀌는 현상을 이 개념으로 분석한다.
함수 근사(Function Approximation): — 상태-행동 값함수 Q(s,a)를 신경망이나 선형 표현으로 근사하는 기법을 말한다. 표현 차원수 d가 늘어나면 근사 능력은 개선되지만 필요한 학습 샘플 수도 증가한다. 논문에서는 선형 근사 설정과 d의 변화가 저데이터·고데이터 성능 역전의 핵심 원인으로 다루어진다.
상태-행동 가치 분포(State-Action Value Distribution): — 한 상태와 행동에서 얻을 수 있는 누적 보상의 확률 분포를 의미하며 분포 기반 방법들은 이 전체 분포를 학습하려 한다. 분포를 정확히 학습하려면 더 많은 샘플이 필요하며 지원이 알려진 경우와 모르는 경우의 샘플 복잡도 차이가 본문에서 이슈가 된다. C51, QR-DQN, IQN 같은 분포형 알고리즘은 이 개념을 직접적으로 학습하는 예다.
전변이 거리(Total Variation Distance): — 두 확률분포 사이의 최대 차이를 측정하는 거리로서 분포 근사의 오차를 정량화하는 데 사용된다. 본 논문은 행동 순위를 올바르게 판단하려면 전변이 거리를 ε 이하로 유지해야 한다는 정리 기반의 요구조건을 도출했다. 이 수치는 분포형 방법의 샘플 요구량 하한과 직접 연결된다.