Hierarchos 232M: 반복적 메모리 보강 어시스턴트 모델 예비 기술보고서 (2026-07-02)

게시물 자체는 코드·스냅샷·데이터셋 링크와 구체적 엔지니어링 수정 사항을 포함하여 기술 커뮤니티의 검토 대상으로 적합하다. 작성자는 구현·벤치마크·리포지토리 링크를 공유하며 피드백을 요청했고, 공개된 수치와 설정은 재현 검증을 가능하게 하므로 실무자들이 재현 사례를 제시하거나 클램프/시딩 전략에 대한 대화를 이어갈 근거를 제공한다. 댓글 반응은 여기서 직접 확인할 수 없으나 게시물의 성격상 구현 세부와 ablation 요청에 대한 기술적 토론이 촉발될 가능성이 높다.

• 훈련/추론 일치성 확보를 위해 TBPTT 경계와 실시간 스트리밍 루프의 상태 재시딩 방식을 동일하게 맞출 것, 즉 추론에서도 경계 단위로만 상태를 reseed하도록 코드 경로를 정비해야 한다는 구체적 조치가 제시되었다. 장기 메모리의 경우 훈련 단계에서 'read-only' 모드를 적용하여 훈련 시의 감독적 빠른 쓰기 신호를 제거하면 추론 시의 의존성을 줄일 수 있으며 작성진은 --ltm-training-mode read-only 플래그로 이를 구현했다. 채널 발산 문제는 특정 키 클램프 값과 DeepEmbed 게이트의 weight decay 제외로 완화했으므로 유사 아키텍처에서도 동일한 수치적 안전장치를 우선 적용할 것을 권고한다.

RWKV

— 순환 구조를 유지하면서 Transformer의 self-attention을 피하는 시퀀스 처리 백본으로, 토큰별 상태를 누적하여 긴 컨텍스트를 저비용으로 처리하는 방식이 핵심이며 본 글에서는 Hierarchos의 핵심 시퀀스 처리 역할을 수행한다.

ROSA (Suffix Automaton)

— 결정적 접미사 자동자 기반의 연속 예측 경로로, 입력 토큰열에서 정확히 반복된 접미사 패턴을 찾아 다음 토큰 확률을 보정하는 기법이며 모델의 토큰 효율성을 높이는 보조 경로로 사용되었다.

LTM (Long-Term Memory)

— 학습 가능한 느린 키/값 메커니즘과 빠른 작업 기억 값을 결합하는 구조로, 훈련과 추론 시 지속적 정보 보존을 목표로 하며 훈련 전용 쓰기 신호를 제거해 추론과의 행동 격차를 해소했다.

Hierarchical Reasoning (HRM)

— 매니저-워커 형태의 다수준 반복 모듈로 동작 계획을 상위 수준에서 생성하고 하위 수준에서 토큰 단위 상태를 세밀하게 갱신하는 구조로, 반복적 정제 과정으로 문맥 일관성을 높이는 역할을 수행한다.

TBPTT

— 시간축이 긴 순환 계산에서 기울기 전파를 청크 단위로 잘라 수행하는 기법으로, 본 사례에서는 훈련 시 상태 재시딩이 발생하는 경계로 작용해 추론과의 상태 불일치 원인이 되었다.