ReLMXEL: 설명 가능한 에너지 및 지연 시간 최적화를 갖춘 적응형 강화학습 기반 메모리 컨트롤러

현대 컴퓨팅 시스템에서 DRAM의 효율성은 전체 성능과 에너지 소비에 직결되지만, 기존의 강화학습 기반 컨트롤러는 의사결정 과정이 불투명한 '블랙박스'라는 한계가 있었다. ReLMXEL은 보상 분해 기법을 통해 성능 최적화와 동시에 왜 특정 설정이 선택되었는지에 대한 기술적 근거를 제공함으로써 시스템 설계의 신뢰성과 투명성을 동시에 확보했다.

메모리 컨트롤러는 데이터가 오가는 길목에서 신호등 역할을 하며, 워크로드의 특성에 따라 '길을 계속 열어둘지(Open Page)' 아니면 '빨리 닫을지(Closed Page)' 등을 결정해야 한다. 기존에는 사람이 만든 고정된 규칙을 썼으나, 최근에는 강화학습(RL)이 이 역할을 대신하며 성능을 높여왔다. 하지만 RL은 왜 그런 결정을 내렸는지 알 수 없어 실제 시스템 도입에 제약이 있었다.

이 논문은 RL의 보상을 하나의 점수가 아닌 '에너지 점수', '속도 점수', '효율 점수' 등으로 쪼개어 관리한다. 마치 성적표에서 총점만 보는 것이 아니라 과목별 점수를 확인하여 어떤 과목 때문에 성적이 올랐는지 분석하는 것과 같다. 이를 통해 특정 상황에서 컨트롤러가 내린 결정이 "에너지를 조금 더 쓰더라도 속도를 대폭 높이기 위한 선택이었다"는 것을 명확히 설명할 수 있게 된다.

결과적으로 ReLMXEL은 복잡한 데이터 접근 패턴을 실시간으로 학습하여 최적의 경로를 찾으면서도, 그 과정이 논리적으로 타당한지 검증할 수 있는 구조를 제공한다. 이는 성능 최적화와 시스템 신뢰성이라는 두 마리 토끼를 잡는 접근 방식이다.

ReLMXEL은 다중 에이전트 SARSA 알고리즘을 핵심으로 사용한다. 각 에이전트는 PagePolicy, Scheduler, Arbiter 등 메모리 컨트롤러의 개별 파라미터를 담당하며, 상태(State) 정보로 읽기/쓰기 횟수, 뱅크 스위치 발생 빈도, 행 버퍼 히트율 등을 입력받는다.

보상 계산은 $R_X = R_{target} / |R_{target} - R_{observed}|$ 공식을 따른다. [이상적인 목표값 $R_{target}$과 실제 관측값 $R_{observed}$의 차이를 입력으로] -> [목표값을 해당 차이의 절댓값으로 나누는 연산을 수행해] -> [개별 성능 지표에 대한 보상 숫자를 얻고] -> [이 값이 클수록 목표 성능에 더 가깝게 도달했음을 의미한다].

설명 가능성을 위해 보상 차이 설명(RDX)과 최소 충분 설명(MSX)을 결합한다. 두 가지 가능한 행동 $a_1, a_2$가 있을 때, 각 행동의 예상 보상 벡터 차이를 계산하여 어떤 성분이 우위에 있는지 판별한다. MSX 알고리즘은 이 차이 중 전체 결정을 정당화할 수 있는 가장 작은 성분 집합을 찾아내어 최종적인 결정 근거로 제시한다.

DDR4 메모리 환경의 DRAMSys 시뮬레이션 결과, ReLMXEL은 모든 테스트 워크로드에서 기준 모델(OpenAdaptive 정책)보다 높은 누적 보상을 달성했다. 특히 xalancbmk 워크로드에서는 대역폭 활용도가 107.03% 향상되었으며, omnetpp 워크로드에서는 138.78%라는 비약적인 대역폭 상승을 기록했다.

에너지 효율 측면에서도 유의미한 성과를 거두었다. 대부분의 워크로드에서 기준 모델 대비 약 3.8%에서 7.7% 사이의 에너지 소비 감소를 확인했다. 지연 시간의 경우 일부 워크로드에서 미세한 증가가 관찰되었으나, 이는 에너지와 대역폭 이득을 극대화하기 위한 강화학습 에이전트의 의도적인 트레이드오프 결과로 분석되었다.

설명 가능성 분석을 통해, 특정 워크로드에서 에너지를 희생하더라도 대역폭을 높이는 결정이 전체 시스템 효율에 더 기여했다는 점을 MSX 지표로 입증했다. 이는 ReLMXEL이 단순히 성능만 높이는 것이 아니라, 워크로드의 특성에 맞춰 논리적인 최적화를 수행하고 있음을 보여준다.

ReLMXEL은 각 가변 파라미터마다 독립적인 Q-테이블을 할당하여 상태 공간의 차원 폭발 문제를 해결했다. 에이전트는 SARSA 업데이트 규칙을 통해 온폴리시 학습을 수행하며, 이는 실제 시스템 운영 중에 발생하는 전이 과정을 직접 반영하여 정책을 개선하는 데 유리하다.

보상 구조는 스칼라 값이 아닌 벡터 형태의 보상 분해(Reward Decomposition)를 채택했다. $Q(s, a) = \sum Q_c(s, a)$와 같이 전체 가치 함수를 각 성능 지표 $c$의 합으로 정의함으로써, 특정 행동의 가치를 다각도로 분석할 수 있는 수학적 기반을 마련했다.

구현 측면에서는 Intel Pin Tool을 사용하여 GEMM, STREAM 등 ML 관련 워크로드의 메모리 트레이스를 추출하고, 이를 DRAMSys 시뮬레이터와 연동하여 학습 및 평가를 진행했다. 학습률($\alpha$) 0.1, 할인 계수($\gamma$) 0.9의 하이퍼파라미터 설정에서 가장 안정적인 수렴 성능을 보였다.

본 연구는 시뮬레이션 환경(DRAMSys)을 기반으로 수행되었으므로, 실제 하드웨어 칩에 구현했을 때 발생하는 면적 및 전력 오버헤드에 대한 실측 데이터가 부족하다. 또한 이기종 메모리 아키텍처나 하이브리드 메모리 시스템에서의 견고성에 대한 추가 검증이 필요하다.