xHC: 대규모 N 확장을 가능하게 하는 확장형 하이퍼-커넥션

Transformer의 잔여(residual) 스트림을 여러 병렬 스트림으로 확장하면 모델의 지속적 상태(persistent state)를 늘려 학습 및 일반화 여지를 제공한다. 기존 HC 계열은 N=4에서 성능이 정체되고 비용이 급증해 확장 축으로서 실용성이 제한됐다. xHC는 쓰기 신호를 풍부하게 만들고 잔여 혼합 비용을 희소 업데이트로 제어해 대규모 N 확장을 실용적인 방향으로 전환했다.

기존 Transformer는 토큰 표현을 층간에 전달할 때 단일 잔여 스트림만 사용해 지속적으로 보존되는 상태의 표현력이 제한된다. 이 논문은 잔여 스트림을 N개의 병렬 스트림으로 확장하면 각 스트림이 서로 다른 가중합의 히스토리를 저장할 수 있어 모델의 기억 용량이 늘어난다고 출발한다. 그러나 단일 층에서 들어오는 write-back이 하나뿐이면 추가 스트림이 실질적 정보를 얻지 못해 확장 효과가 포화된다는 문제가 존재한다. xHC는 층 출력뿐만 아니라 인접 토큰들의 저비용 로컬 특징을 인과적 depthwise convolution으로 추출해 write-back 기저를 K_r개로 늘렸다. 이렇게 하면 각 활성 스트림이 서로 다른 선형 성분을 조합해 비중복적 히스토리를 형성할 수 있다. 비용 측면에서는 mHC가 전체 N×N residual-mapping을 예측하면서 발생하는 O(N^3 C) 비용이 확장의 실용성을 저해했다. xHC는 라우터를 통해 k개의 활성 스트림만 선택해 residual-mapping과 post-mapping을 활성 부분에 대해 생성함으로써 비용을 O(k^3 C)로 낮췄다. 또한 읽기 경로는 밀집(dense read)으로 유지해 한 층에서 업데이트된 정보가 이후 층에서 접근 불가능해지는 연결 단절을 방지했다. 두 설계를 결합하면 N을 크게 확장하더라도 유의미한 성능 향상과 현실적 계산 비용을 동시에 달성할 수 있다.

전체 설계는 두 축으로 구성된다: 쓰기 신호의 풍부화와 희소 업데이트를 통한 비용 제어이다. 쓰기 신호 풍부화는 MLP 서브레이어 출력에 대해 r개의 인과적(depthwise) 1D convolution을 적용해 인접 토큰의 로컬 특징을 추출하고 원본 출력과 함께 연결한 뒤 Gram–Schmidt 절차로 성분 간 직교화를 수행한다. 이 과정은 K_r(=r+1)개의 직교화된 성분을 만들어 각 활성 스트림이 이들 성분을 독립적으로 결합하도록 post-mapping 차원을 확장한다. 희소 잔여 스트림 아키텍처는 라우터가 Flatten(LN(X))을 선형 투영한 후 sigmoid로 per-stream 점수를 계산하고 fixed-plus-TopK 방식으로 k개의 활성 인덱스를 선택한다. 선택된 활성 스트림의 flattened 상태에서 residual 및 post 매핑을 생성하고 Sinkhorn 정규화를 활성 부분의 ℋ_res에 적용해 안정성을 유지한다. 읽기 경로는 ℋ^{pre}를 통해 전체 N 스트림을 집계해 sublayer 입력을 구성하되 쓰기와 residual-mixing은 k 활성 스트림에만 적용해 계산 비용을 절감한다. 구현 측면에서는 α 방식의 게이팅 스칼라(initialized=0.01)를 사용해 동적 항과 정적 바이어스의 균형을 맞추고 post-mapping에서는 2σ 스케일링으로 [0,2] 범위를 허용해 attenuation과 약한 증폭을 모두 지원한다. 추가적으로 xHC-Flash 변형은 블록 단위로 라우팅과 pre-mapping을 공유해 풀스테이트 접근을 아웃소싱하고 Attention 쪽 residual-mixing을 제거한 뒤 MLP에서 집약적으로 mixing을 수행해 per-sublayer 메모리 트래픽을 크게 낮췄다.

주요 실험은 18B·28B MoE 백본에서 수행되었으며 모든 방법은 유사한 FLOPs 예산에서 비교됐다. 18B 설정에서 xHC(N=16,k=4)는 mHC(N=4) 대비 평균 downstream 점수를 44.8에서 48.8로 +4.0 포인트 개선했으며 ARC-Challenge, BBH, C3, HumanEval 등 다양한 벤치마크에서 대표적 향상이 관측됐다. 스케일링 법칙 실험에서는 훈련 FLOPs 범위 전반에서 xHC가 낮은 손실 곡선을 유지했으며, 동일 손실을 달성하는 데 vanilla와 mHC가 각각 xHC 대비 1.50×,1.19×의 계산량을 요구하는 것으로 나타났다. N 스윕 실험(2.5B MoE)에서는 mHC가 N=4→16 구간에서 손실 개선이 미미한 반면 xHC는 같은 구간에서 손실을 더 크게 줄이며 추가 FLOPs가 적게 드는 것으로 보고됐다. 절제된 ablation에서는 temporal augmentation 단독으로도 손실을 낮추지만 희소 업데이트가 없으면 FLOPs가 크게 증가했으며, 두 구성요소를 같이 적용할 때 성능과 비용 균형이 최적화됨이 확인됐다. Muon 옵티마이저 환경에서도 xHC는 AdamW 대비 설정을 일부 조정한 뒤(Gram–Schmidt 제거, xHC 전용 프로젝션은 AdamW 유지) 유사한 downstream 이득을 보였고 평균 점수가 43.1→49.9로 개선되었다.

전체 아키텍처는 기존 Transformer 블록 내부의 residual stream을 N×C 텐서로 유지하고 각 층에 세 가지 매핑(ℋ^{pre}∈ℝ^{1×N}, ℋ^{post}∈ℝ^{N×K_r}, ℋ^{res}∈ℝ^{k×k})을 도입한다. ℋ^{pre}는 RMSNorm(flatten(X)) W^{pre}+b^{pre} 형태의 투영을 통해 생성되고 출력은 sigmoid로 제한돼 전체 N 스트림을 가중 합해 sublayer 입력을 구성한다. 활성 스트림에 대해서만 mat_{k×k}(RMSNorm(vec(X_active)) W^{res})를 통해 residual-mixing logits를 예측하고 exp+Sinkhorn으로 doubly-stochastic 제약을 적용해 ℋ_res를 산출한다. 시간적 증강은 MLP 출력에 대해 r개의 depthwise causal convolution(g_j)과 수정된 Gram–Schmidt 정규화를 적용해 out_aug∈ℝ^{K_r×C}를 구성한 뒤 활성 스트림별 post-mapping ℋ_post∈ℝ^{k×K_r}과 결합해 write-back을 만든다. 비용 분석에서 mHC의 dominant cost는 W^{res}가 NC→N^2 차원으로 예측하는 점에 있으며 이로 인해 입력 차원 NC, 출력 N^2가 곱해져 O(N^3 C)가 된다. xHC는 활성 스트림 k로 이 투영을 제한해 이 항을 O(k^3 C)로 낮추며 dense read를 유지해 정보 단절을 방지한다. 구현에서는 full-state 투영과 normalization correction, routed TopK 선택을 하나로 묶고 활성 스트림 관련 투영을 재사용하는 fused kernel 설계를 적용했다. xHC-Flash 변형은 블록 단위로 라우팅과 pre-mapping을 공유하고 Attention에서 residual mixing을 생략한 뒤 MLP에서 집약적으로 mixing을 수행해 per-sublayer I/O를 73.5C→40C 수준으로 낮췄다.

논문은 N 확장이 정보 공급과 계산 비용 두 축에서 병목을 보이며 이를 완화하기 위해 xHC와 xHC-Flash를 제안했다는 점을 명확히 하고 있다. 그러나 xHC의 기본 형태는 여전히 풀스테이트 읽기와 활성 스트림 투영으로 인해 메모리 트래픽이 증가하며, 이를 해결하려면 xHC-Flash 같은 추가 아키텍처적 단순화와 커널 퓨전이 필요하다. 또한 실험 결과는 MoE 백본과 특정 하이퍼파라미터(N=16,k=4)에 기반하므로 다른 백본·설정에서 동일한 이득이 항상 보장된다는 주장은 논문에 의해 제한적으로 언급되었다.