rachidlabs/BCMT: 긴 문맥 언어모델을 위한 Blockwise Causal Memory Transformer 연구 구현

작성자가 코드와 논문 DOI를 함께 공개하며 구체적 성능 지표(검증 퍼플렉서티, 학습 처리량, GPU 메모리 사용)를 제시했기 때문에 기술적 검토 요청에 응하는 답변이 나오기 쉬운 상태이다. 공개된 구현은 재현성 검증과 ablation 실험을 가능하게 하며, 피드백은 블록 크기, 메모리 요약 기법, 학습 안정성 관련 세부 실험을 중심으로 집중될 가능성이 높다. 구현·실험 자료가 있을 때 커뮤니티는 보통 비교 실험 결과와 추가적인 벤치마크 요청을 우선적으로 제기한다.

• 먼저 블록 크기와 메모리 요약 차원에 대한 체계적 ablation을 수행해야 한다는 점이 중요하다. 각 실험에서 동일한 학습 조건과 배치 크기를 유지해 처리량·메모리·퍼플렉서티 변화를 측정해야 재현 가능한 결론이 나온다. 이렇게 하면 설계 선택이 성능에 미치는 구체적 영향을 정량적으로 파악할 수 있다.
• 블록 요약을 생성하는 함수(예: 평균·가중합·학습된 요약기)의 설계에 따른 성능 차이를 비교할 필요가 있다. 요약이 생성되는 방식이 메모리 용량과 풍부한 문맥 보존 능력 사이의 트레이드오프를 결정하므로 다양한 요약 함수를 실험해야 의미 있는 개선이 도출된다. 또한 요약 표현의 차원과 전달 방식(키/값 보강, 컨디셔닝 등)을 분리해 검사해야 한다.

Causal Self-Attention

— 입력 시퀀스에서 각 토큰이 과거 토큰만 볼 수 있도록 키·쿼리·값 연산을 마스킹해 계산하는 어텐션 방식이다. 로컬 블록 내에서는 dense하게 계산되어 문맥 내 종속성을 포착하고, 블록 경계를 넘는 정보는 별도 메모리 표현으로 처리하는 설계에서 핵심적 역할을 한다. 긴 문맥을 처리하면서 순차적 생성(autogressive) 성질을 유지하는 데 중요하다.

Blockwise Attention

— 토큰들을 고정 크기 블록으로 나누고 각 블록 내부에서만 dense 어텐션을 수행하는 접근법이다. 내부 연산은 완전한 self-attention을 유지하되 블록 간 장기 의존성은 요약된 메모리로 전달해 전역 연산 비용을 줄인다. 긴 문맥을 처리할 때 계산량과 메모리 사용량을 줄이는 것이 목적이다.

Causal Memory

— 각 블록에서 계산한 요약을 바탕으로 생성되는 압축된 표현으로, 이후 블록으로 전달되어 장거리 정보를 유지한다. 이 메모리는 인과적 순서를 보존하며 이후 블록의 어텐션 입력(예: 키/값 보강 또는 조건화)에 사용되어 글로벌 문맥을 전파한다. 메모리 크기와 요약 방식이 모델 성능 및 효율성에 직접적인 영향을 미친다.

WikiText-103

— 대규모 언어모델 평가에 자주 쓰이는 공개 언어모델링 데이터셋으로 긴 문맥과 다양한 주제가 포함되어 있다. 언어 모델의 퍼플렉서티(perplexity) 비교와 긴 문맥 처리 능력 검증에 적합해 본문에서 실험 대상으로 채택되었다. 데이터셋 특성상 장문 문맥을 사용하는 모델 간 성능 차이를 드러내는 데 유용하다.