트래픽 매트릭스 예측을 위한 파라미터 효율적 양자 영감 패스트-웨이트 프로그래머

왜 중요한가

실시간 네트워크 제어 환경에서는 메모리와 학습 예산이 제한되어 모델 용량이 중요한 제약이 된다. 본 논문은 고용량 그래프나 Transformer 모듈 없이도 파라미터 효율적인 recurrent 구조로 전체 OD 트래픽 매트릭스 예측을 달성할 수 있음을 보였다. 이는 에지나 네트워크 제어 루프처럼 리소스 제약이 있는 배포 환경에서 실용적 대안이 될 수 있다.

핵심 기여

세 가지 QKAN-FWP 변형의 전체 행렬 예측 벤치마킹

논문은 HQKAN 모듈을 fast readout, slow programmer, 양쪽에 배치한 세 가지 변형(G-QKANFWP, GQKAN-FWP, GQKAN-QKANFWP)을 정의하고 Abilene TM 데이터셋을 대상으로 직접 다중 단계(20단계) 예측 실험을 실행했다. 모든 비교 모델은 고정 학습률과 50에폭 예산, 동일한 랜덤 시드 구성으로 훈련되어 고정-예산 조건에서의 정확도·수렴성을 평가했다. 이로써 HQKAN의 배치가 성능과 수렴에 미치는 영향을 체계적으로 측정했다.

파라미터 대비 유리한 RMSE 성능 달성

G-QKANFWP는 8,189개의 파라미터로 pooled RMSE 0.06897 ± 0.00030을 기록해 동일 규모 LSTM-S와 고전적 G-FWP를 능가했다. G-QKANFWP는 파라미터가 훨씬 큰 LSTM-L 대비 소폭 우위를 보였으며 LSTM-L 파라미터의 22.4%만 사용했다. 이 결과는 gated fast-weight 구조만으로 얻은 이득이 아니며 HQKAN 배치가 추가 성능 향상을 제공함을 시사했다.

고정 예산 수렴성 개선과 채널별 이점

세 개의 양자 영감 변형은 LSTM-S와 G-FWP보다 Val-loss AULC가 낮아 동일 에폭 예산에서 더 빠르고 지속적으로 검증 손실을 낮췄다. OD 채널 승산 분석에서는 G-QKANFWP와 GQKAN-FWP가 매치된 재발신 기반보다 더 많은 채널에서 최저 RMSE를 기록했다. 이 결과는 풀된 RMSE 이득이 소수 고분산 채널의 개선 때문만은 아니며 지역적 이득도 동반되었음을 나타냈다.

핵심 아이디어 이해하기

트래픽 매트릭스 예측 문제는 시간 축의 동적 변화와 채널 간 교차 의존성을 동시에 다뤄야 하는 고차원 시계열 문제다. 전형적인 LSTM 기반 접근은 은닉 상태에 정보를 누적하지만, 고차원 OD 행렬을 다루는 상황에서는 은닉 크기를 키워야 하므로 파라미터와 메모리 비용이 급증한다. 본 논문은 이러한 용량 제약이 있는 환경에서 동적으로 갱신되는 '빠른' 매개변수(fast weights)를 사용하면 시간종속 특징을 보다 압축된 표현으로 저장·조회할 수 있다고 설정했다.

방법론

모델 설계는 slow programmer와 fast programmer의 이원화로 구성되었다. slow pathway는 입력 히스토리(24프레임, 2시간)를 읽고 fast parameter에 대한 업데이트 제안을 생성하며 fast pathway는 현재의 fast parameters를 사용해 다음 20프레임을 한 번의 순전파로 출력한다. gated 구성에서는 이전 fast parameter와 새 제안 사이를 보간하는 스칼라 게이트 g가 도입되어 파라미터 변동을 안정화하고 과도한 변화로 인한 불안정성을 억제했다.

주요 결과

주요 정량적 결과는 Table I에 제시된 pooled RMSE와 에폭 예산 기반 Val-loss AULC이다. G-QKANFWP는 pooled RMSE 0.06897 ± 0.00030(파라미터 8,189)로 matched LSTM-S(8,904 파라미터)보다 낮은 값을 보였고 LSTM-L(36,624 파라미터)보다 소폭 우수했다. OD 채널 승수에서는 LSTM-L이 전체 채널 중 가장 많은 승수를 확보했으나 G-QKANFWP와 GQKAN-FWP는 matched recurrent baselines보다 훨씬 많은 채널에서 최저 RMSE를 기록해 지역적 이득이 확보되었다.

기술 상세

아키텍처 구성은 HQKAN 블록을 포함한 Hybrid QKAN 인코더-프로세서-디코더 인스턴스와 고전적 선형 구성의 조합으로 이루어졌다. G-QKANFWP는 고전적 slow programmer와 HQKAN 기반 fast readout을 사용해 fast pathway의 비선형성을 증가시켰고 GQKAN-FWP는 반대로 HQKAN을 slow programmer에 배치했으며 GQKAN-QKANFWP는 양측에 HQKAN을 배치해 가장 압축된 버전을 구현했다. 손실은 FN-TM 공간에서 MSE를 사용했고 학습은 Adam 옵티마이저, learning rate 1e-3, 50에폭, 5개의 랜덤 시드로 고정된 예산 하에 수행되었다.

한계점

논문은 recurrent 모듈만을 분리하여 평가했으며 별도의 그래프·diffusion·토폴로지 인코더와 결합했을 때의 성능은 검증되지 않았다. 하이퍼파라미터 민감도, 특히 학습률 민감도에 대한 자세한 탐색이 이루어지지 않아 일부 변형은 학습 조건에 따라 더 나은 성능을 보일 여지가 있다. 또한 평가가 Abilene 데이터셋과 FN-TM 공간에 국한되어 있어 원시 규모(raw-scale) 예측과 다른 네트워크 벤치마크에서의 일반화성은 추가 검증이 필요하다.

키워드

traffic matrices(트래픽 매트릭스)QKAN-FWP(QKAN 기반 패스트-웨이트 프로그래머)FN-TM(FN-TM 정규화 표현)Val-loss AULC(검증 손실 학습곡선 면적)fast-weight programmer(패스트-웨이트 프로그래머)

용어 해설

패스트-웨이트 프로그래머(Fast-Weight Programmer): — 패스트-웨이트 프로그래머는 시퀀스 처리에서 동적으로 갱신되는 '빠른' 매개변수를 사용해 과거 정보를 저장하고 읽어오는 구조이다. 이 모델은 고정된 은닉 상태 대신 빠른 매개변수를 업데이트 제안(generator)과 읽기(reader)로 나누어 시계열 정보를 보관한다. 본 논문에서는 gated 구조와 결합해 FN-TM 예측에서 시간 의존성을 효율적으로 포착하는 역할을 했다.
Kolmogorov–Arnold 네트워크(Kolmogorov–Arnold Network): — Kolmogorov–Arnold Network는 비선형 변환을 위해 작은 모듈을 조합하는 구조로서, 저용량 환경에서 복잡한 비선형성을 표현하는 데 유리하다. 본 논문 맥락에서는 HQKAN 블록이 비선형 활성화로 삽입되어 fast/slow 경로의 표현력을 높였다. HQKAN은 파라미터 효율성을 유지하면서도 비선형 변환 능력을 제공했다.
Hybrid QKAN(HQKAN): — HQKAN은 JHCG Net 계열의 경량 비선형 모듈로, 고전적 인코더와 결합해 입력 특징을 압축한 뒤 양자 영감을 받은 활성화로 변환을 수행한다. 본 논문에서는 HQKAN을 fast readout나 slow programmer에 배치하는 세 가지 변형을 비교하여 위치에 따른 성능 차이를 평가했다. HQKAN 배치는 전체 RMSE와 OD 채널 승패에 직접적인 영향을 미쳤다.
프레임 정규화 TM(Frame-Normalized TM): — Frame-Normalized TM(FN-TM)은 각 시간 프레임의 최소·최대 OD 값을 기준으로 정규화하고 역변환을 적용해 값 범위를 [0,1]로 만든 표현이다. 정규화는 프레임 내 상대적 트래픽 수준을 보존하며, 본 논문에서는 모든 손실과 오류를 FN-TM 공간에서 계산했다. FN-TM는 원시 규모 대신 상대 비교를 통해 모델 수렴과 예측 품질을 평가하는 데 사용됐다.
검증 손실 학습곡선 면적(AULC)(Val-loss AULC): — Val-loss AULC는 일정한 에폭 예산에서 검증 손실 곡선의 트라페조이드 평균을 계산해 수렴 특성을 요약한 지표이다. 값이 작을수록 주어진 예산 내에서 검증 손실이 전반적으로 낮았다는 의미이며, 본 논문에서는 고정 예산 비교를 위해 AULC를 주요 수렴 지표로 사용했다. AULC는 최종 테스트 정확도뿐 아니라 학습 곡선의 안정성과 속도를 함께 반영한다.