Gated QKAN-FWP: 확장 가능한 양자 영감 시퀀스 학습

기존 양자 시퀀스 모델은 하드웨어의 잡음과 확장성 문제로 긴 데이터를 처리하기 어려웠다. 이 논문은 단일 큐비트 기반의 QKAN과 게이트 메커니즘을 결합하여, 훨씬 적은 파라미터로도 기존 LSTM보다 정확한 예측 성능을 보여주며 실제 양자 컴퓨터에서도 동작 가능함을 입증했다.

기존의 순환 신경망(RNN)은 과거 정보를 '은닉 상태'라는 고정된 크기의 벡터에 압축하여 전달하므로 시퀀스가 길어질수록 정보 손실과 연산 병목이 발생한다. 이 논문은 정보를 상태 벡터가 아닌 '네트워크의 가중치 자체'에 동적으로 저장하는 Fast Weight Programming 개념에서 출발한다.

해당 한계를 극복하기 위해 엣지마다 학습 가능한 함수를 두는 KAN 구조를 양자 회로로 구현한 QKAN을 도입한다. QKAN은 단일 큐비트에 데이터를 반복해서 업로드하는 DARUAN 방식을 사용하여 적은 자원으로도 매우 복잡한 비선형 함수를 표현할 수 있다. 여기에 시그모이드 함수를 거친 스칼라 게이트를 추가하여, 과거의 가중치를 얼마나 유지하고 새로운 입력을 얼마나 반영할지 적응적으로 결정한다.

결과적으로 모델은 시퀀스 길이에 상관없이 일정한 메모리 경계를 유지하며, 훈련 시에는 전체 시퀀스를 한 번에 병렬로 처리할 수 있는 구조를 갖게 된다. 이는 파라미터 수를 획기적으로 줄이면서도 장기 의존성을 안정적으로 학습할 수 있게 만든다.

전체 아키텍처는 입력 데이터를 잠재 공간으로 매핑하는 Encoder, 비선형 변환을 수행하는 QKAN 프로세서, 그리고 최종 출력을 생성하는 Decoder로 구성된 HQKAN 구조를 기반으로 한다. [입력 시퀀스 x_t] → [HQKAN 기반 Slow Programmer] → [업데이트량 ΔW_t 및 게이트 g_t 생성] → [Fast 가중치 W_t 갱신] 순으로 동작한다.

핵심 업데이트 로직은 W_{t+1} = g_t * W_t + (1 - g_t) * ΔW_t 수식을 따른다. [이전 가중치 W_t와 새로운 제안 ΔW_t를 입력으로] → [0에서 1 사이의 스칼라 값 g_t를 가중치로 사용하여 볼록 조합(Convex Combination) 연산을 수행] → [다음 시점의 가중치 W_{t+1}을 산출] → [가중치가 특정 범위 내에 머물도록 보장하며 안정적인 기억 유지를 가능하게 함]의 과정을 거친다.

이론적으로 이 업데이트 규칙은 병렬 프리픽스 스캔(Parallel Prefix Scan) 알고리즘으로 변환 가능하다. [T 길이의 시퀀스를 입력으로] → [결합 법칙이 성립하는 아핀 변환 쌍의 합성 연산을 수행] → [O(log T)의 시간 복잡도로 전체 가중치 궤적을 계산] → [순차적 계산의 한계를 벗어나 GPU 등에서 고속 병렬 훈련을 수행]하는 원리이다.

태양 주기(Solar Cycle) 예측 실험에서 12,500개의 파라미터만 사용하고도 약 7~13배 더 많은 파라미터를 가진 LSTM-L(89k), WaveNet-LSTM(167k)보다 낮은 MSE(0.0168)와 피크 시간 오차를 기록했다. 특히 528개월의 긴 입력 창을 처리할 때 다른 모델들보다 뛰어난 안정성을 보였다.

MiniGrid 강화학습 환경에서는 기존 QFWP 모델이 환경 크기가 커질수록 성능이 급격히 저하되는 것과 달리, 제안된 게이트 모델들은 16x16 그리드에서도 0.97 이상의 높은 보상을 유지했다. 이는 게이트 메커니즘이 복잡한 상태 공간에서도 안정적인 정책 학습을 지원함을 의미한다.

양자 하드웨어 실행 결과, IonQ Forte-1과 IBM ibm_aachen 장치에서 1024 샷(Shots) 설정 시 시뮬레이터와 거의 동일한 예측 곡선을 복구했다. 상대적 MSE는 10^-3 수준으로 나타나 실제 NISQ 장치에서의 실용성을 입증했다.

본 연구는 QKAN을 Fast Weight Programmer의 핵심 엔진으로 사용하여 단일 큐비트 데이터 재업로드 회로(DARUAN)의 표현력을 시퀀스 학습에 활용한다. 아키텍처는 파라미터 공간에서의 진화를 게이트 제어 아핀 재귀(Gated Affine Recursion)로 정형화하여 이론적 분석을 용이하게 했다.

수학적으로 게이트 업데이트는 가중치 W_t가 초기값과 제안값들의 볼록 허브(Convex Hull) 내에 존재하도록 강제하여 기하학적 유계성(Geometric Boundedness)을 보장한다. 이는 일반적인 RNN이 겪는 가중치 폭주 문제를 구조적으로 방지한다.

역전파(BPTT) 과정에서 시간 축을 따른 그래디언트 전파는 밀집 행렬(Dense Jacobian)의 곱이 아닌 스칼라 게이트들의 곱으로 단순화된다. 이는 수치적 안정성을 높이고 그래디언트 계산의 복잡도를 O(T d^3)에서 O(T mn)으로 획기적으로 낮추는 효과를 가져온다.

논문은 원래의 KAN 아키텍처가 초거대 규모 시나리오에서 최적화 어려움을 겪을 수 있음을 언급하며, 본 프레임워크가 이를 구조적으로 완화하지만 여전히 극단적인 고차원 입출력에 대해서는 추가적인 구조적 그룹화 전략이 필요할 수 있음을 시사한다.