지식과 추론을 분리한 Mobius

왜 중요한가

Transformer는 지식 저장과 추론 연산이 층별로 묶여 있어 같은 지식이 여러 층에 중복 저장되고, 복잡한 문제에서는 긴 CoT를 생성하는 비용이 커집니다. Mobius-v0는 FFN을 전역 Memory로 분리하고 Self-Attention 기반 Reasoner가 필요한 지식 벡터를 반복 조회하도록 바꿉니다. 7B 모델은 Transformer 기준 학습 데이터의 62.6%만으로 비슷한 downstream 점수를 냈고, Qwen3.5-35B에서 계속 사전학습한 Intern-S2-Mobius는 비슷한 성능에서 end-to-end 추론 속도를 거의 4배 높였습니다.

핵심 기여

공유 Memory로 지식과 추론 분리

Mobius-v0는 층별 FFN을 하나의 대형 지식 벡터 저장소로 통합하고 Self-Attention Reasoner가 전체 지식에 접근하도록 설계했습니다. 이 구조는 지식 저장 파라미터와 조합적 추론 연산의 결합을 풀어 층마다 같은 지식을 반복 저장하는 부담을 줄이는 방향입니다.

역방향 잔차 접근 구현

모든 Reasoner가 동일한 Memory를 조회하므로 깊은 층의 연산도 얕은 층 수준의 지식에 접근할 수 있습니다. 기존 Residual Connection의 앞에서 뒤로 향하는 흐름을 공유 저장소 기반의 양방향 지식 접근으로 확장해, 이전 단계에서 활성화하지 못한 정보도 이후 단계에서 다시 사용할 수 있게 했습니다.

잠재 벡터 기반 추론 압축

Mobius는 숙고와 시행착오를 연속 Hidden States의 반복 갱신으로 처리하고, 최종 단계에서 여러 토큰을 함께 디코딩합니다. MMLU-Pro 선형대수 문제에서 같은 정답을 유지하면서 Mobius의 추론 trace는 516토큰, Qwen3.5-35B는 2,364토큰을 사용했습니다.

학습 데이터와 추론 비용 개선

7B-A1B 모델을 1TB 토큰으로 처음부터 학습한 비교에서 Mobius는 Transformer가 1TB 토큰에서 얻은 점수에 0.626배 데이터로 도달했습니다. Qwen3.5-35B-A3B에서 계속 사전학습한 35B 모델은 여러 일반·과학 벤치마크에서 평균 점수 67.88과 52.14를 기록하고, Transformer 계열 기준보다 높은 요청 처리량을 보였습니다.

핵심 아이디어 이해하기

Transformer에서 FFN은 지식을 저장하고 Self-Attention은 토큰 사이의 정보를 조합하며, Hidden States는 층에서 층으로 정보를 운반합니다. 일반적인 계층 구조에서는 얕은 층의 표현이 깊은 층으로 전달되고 각 층의 Self-Attention은 주로 직전 층에서 받은 지식을 처리합니다. 이 흐름에서는 어떤 지식이 초기에 활성화되지 않으면 다음 추론 단계까지 새로운 토큰을 생성하며 기다려야 합니다.

Mobius는 FFN을 각 층에 묶어 두지 않고 모든 Reasoner가 공유하는 Memory로 모읍니다. Hidden State가 Memory를 조회하면 필요한 지식 벡터가 Reasoner로 들어오고, Reasoner가 이를 조합한 결과가 다시 Hidden State에 반영됩니다. 따라서 얕은 층의 지식과 깊은 층의 추론이 같은 저장소를 통해 서로 접근할 수 있으며, 앞선 층에서 놓친 지식을 뒤쪽 연산이 다시 읽을 수 있습니다.

기존 Long CoT에서는 모델이 한 번의 추론 단계를 진행하기 위해 중간 토큰을 순차적으로 생성하고, 그 토큰이 다음 단계의 지식 활성화를 유도합니다. Mobius는 이 중간 과정을 연속 벡터의 반복 갱신으로 처리하므로 입력으로 들어온 Hidden State가 Memory 조회와 Self-Attention 조합을 짧은 층 묶음마다 반복합니다. 여러 토큰에 해당하는 정보를 고밀도 잠재 표현으로 함께 운반한 뒤 깊은 층에서 동시에 디코딩하는 방식입니다.

이 구조의 목표는 같은 문제를 더 적은 고품질 토큰으로 해결하는 데 있습니다. 실제 선형대수 예시에서 Mobius는 불필요한 반복 유도와 검증을 줄이면서 Statement 1은 False, Statement 2는 True라는 판단과 Option C를 유지했습니다. 논문은 짧은 CoT의 정확한 원인이 완전히 밝혀진 것은 아니라고 밝히지만, 여러 사례에서 단순한 문제 회피보다 잠재 추론에 따른 압축으로 해석할 근거를 확인했습니다.

방법론

Mobius-v0는 Transformer의 층별 FFN과 Self-Attention 결합을 해제하고 FFN을 전역 공유 Memory로 재구성합니다. FFN을 Key-Value Knowledge-Vector Pool로 보고 층 방향으로 수평 연결해 기존 지식 벡터 사이의 대응 관계를 유지합니다. 큰 파라미터 규모에서는 FFN을 블록으로 나누고 Forward Propagation마다 일부 블록만 활성화하는 희소 경로를 사용합니다.

각 Reasoner는 자체 층에만 의존하지 않고 공유 Memory 전체에서 문제 해결에 필요한 지식 벡터를 조회합니다. 조회된 벡터는 Self-Attention의 입력으로 들어가 여러 Hidden States의 조합을 만들고, 갱신된 Hidden State는 다음 Memory 조회와 Reasoner 반복의 캐리어가 됩니다. 이 입력에서 조회, 조합, 재조회로 이어지는 흐름이 여러 토큰을 지원하는 잠재 표현을 만들고 최종 깊은 층에서 토큰을 병렬 디코딩합니다.

Backward Residual Connection은 물리적으로 복잡한 역방향 계산 그래프를 직접 추가하지 않고 공용 저장소를 통해 구현합니다. 모든 층이 동일한 지식 저장소를 읽으므로 깊은 층의 Self-Attention도 얕은 층 지식에 접근할 수 있습니다. 이 방식은 기존 Residual Connection의 단방향 정보 전달을 공유 Memory 기반의 양방향 접근으로 바꾸면서 병렬화에 불리한 비동기 경로를 피합니다.

Dynamic Latent Reasoning에서는 토큰을 한 단계씩 생성하는 대신 연속 벡터에 숙고, 시행착오, 정제 과정을 내재화합니다. 한 번의 표현 갱신을 매우 적은 층으로 수행하고, 여러 층을 모두 통과한 뒤에야 여러 토큰을 함께 생성하므로 잠재 반복의 빈도를 높일 수 있습니다. 논문은 이 과정이 KV-cache 관리 부담과 여러 Hidden State 병렬화 부담을 낮추고 토큰별 계산량을 동적으로 배분한다고 설명합니다.

주요 결과

처음부터 학습한 실험에서는 Mobius와 Transformer로 7B-A1B MoE 모델을 각각 1TB 토큰에 학습하고 MMLU 점수를 비교했습니다. Mobius는 모든 학습 단계에서 Transformer보다 높은 MMLU 점수를 기록했고, Transformer가 1TB 토큰에서 얻은 최종 점수와 같은 수준에 0.626× 데이터만 사용해 도달했습니다. 이는 Transformer 대비 1.6× 데이터 효율에 해당하며, 논문은 층별 지식 중복이 줄어든 압축 효과를 가능한 원인으로 추정합니다.

계속 사전학습 실험에서는 Qwen3.5-35B-A3B를 시작 체크포인트로 사용해 1TB 토큰을 추가 학습한 뒤 SFT와 RL을 수행했습니다. Intern-S2-Mobius-35B는 일반 과제 평균 67.88로 Qwen3.5-35B의 65.05보다 높았고, 과학 과제 평균도 52.14로 Qwen3.5-35B의 18.20보다 높았습니다. 다만 UGD hard에서는 73.02 대 78.02, HLE에서는 19.11 대 22.40으로 Qwen3.5-35B가 더 높은 점수를 기록했습니다.

추론 효율 비교에서는 여러 평가 벤치마크를 합산한 요청 처리량이 Mobius에서 더 높게 나타났고, 논문은 end-to-end 속도가 거의 4배 빨라졌다고 보고합니다. 동일한 문제에 대한 평균 출력 길이 비교에서 Mobius의 짧은 CoT가 주요 원인으로 확인됐으며, 선형대수 문제의 전체 trace는 Mobius 516토큰, Qwen3.5-35B 2,364토큰이었습니다. 두 모델 모두 Option C를 선택했지만 Mobius는 반복 유도와 검증을 줄이고 최종 답변을 157토큰으로 마친 반면 Qwen3.5-35B는 595토큰을 사용했습니다.

기술 상세

Mobius의 핵심 데이터 경로는 공유 Memory와 여러 Reasoner의 반복 결합입니다. 기존 Transformer에서는 층별 FFN이 지식 변환을 수행하고 Self-Attention이 그 층의 입력을 조합하지만, Mobius에서는 모든 Reasoner가 전역 FFN 저장소에 읽기 접근합니다. 따라서 지식 벡터와 추론 연산자의 층별 결합이 풀리고, 동일 지식이 여러 층에 반복 저장될 가능성을 줄이는 구조가 됩니다.

공유 Memory는 FFN을 Key-Value Knowledge-Vector Pool로 취급해 수평 연결한 형태입니다. 입력 Hidden State가 필요한 Key에 접근하면 대응하는 Value 지식 벡터가 선택되고, Self-Attention은 이 벡터와 현재 표현을 조합해 다음 Hidden State를 만듭니다. 대규모 모델에서는 전체 FFN을 블록별로 나누고 일부 블록만 활성화해 과도한 파라미터 활성화로 인한 학습·추론 부담을 낮춥니다.

Backward Residual Connection은 명시적인 역방향 잔차 경로가 아니라 모든 층이 하나의 저장소를 공유하는 간접 구현입니다. 일반 Residual Connection이 얕은 Hidden State를 깊은 층으로 운반하는 반면, Mobius에서는 깊은 Reasoner도 공용 Memory를 통해 얕은 층에 해당하는 지식을 조회할 수 있습니다. 이 접근은 지식 접근 방향을 넓히면서 복잡한 비동기 계산 그래프를 직접 도입하지 않는 선택입니다.

Dynamic Latent Reasoning은 연속 Hidden State를 반복 정제해 CoT에 포함되던 중간 계산을 잠재 공간으로 옮깁니다. 기존 토큰 기반 추론은 한 토큰을 생성한 뒤 모든 층을 다시 통과해야 하지만, Mobius는 적은 층으로 Memory를 여러 차례 조회하고 여러 미래 토큰을 지원하는 공동 표현을 만듭니다. 이 과정은 토큰 생성 전 정보 밀도를 높이고, 토큰마다 필요한 계산량을 다르게 배분하는 경로를 제공합니다.

논문은 Mobius를 Looped Transformer와 Diffusion Language Model의 특성을 결합한 구조로 설명합니다. Looped Transformer처럼 공유 연산을 반복해 유효 깊이를 늘리지만, 각 갱신을 적은 층에서 수행하고 전체 Memory에 접근한다는 차이가 있습니다. Diffusion Language Model처럼 표현을 반복 정제하지만 명시적 placeholder나 diffusion step을 사용하지 않고, Reasoner와 Memory 조회를 통해 잠재 상태를 갱신한 뒤 여러 토큰을 병렬 생성합니다.

한계점

Mobius가 짧은 CoT를 만드는 정확한 내부 메커니즘은 아직 완전히 밝혀지지 않았습니다. 논문은 모델이 문제를 실제로 더 효율적으로 추론하는지, 아니면 특정 평가 문제를 우회하는지 추가 검증이 필요하다고 밝힙니다. Self-evolving, World Model, Scientific Discovery, 하드웨어-소프트웨어 공동 설계에서의 가능성도 실제 환경 검증과 추가적인 데이터·인프라·학습 알고리즘 설계가 남아 있습니다.

키워드

Mobius-v0(지식-추론 분리 아키텍처)Memory(FFN 기반 지식 저장소)Reasoners(Self-Attention 기반 추론 연산자)Dynamic Latent Reasoning(동적 잠재 추론)Backward Residual Connection(역방향 잔차 연결)Compositional Reasoning(조합적 추론)

용어 해설

지식-추론 분리(Knowledge-Reasoning Separation): — 모델 내부에서 지식을 저장하는 모듈과 저장된 지식을 조합해 문제를 푸는 연산을 분리하는 설계입니다. 각 Reasoner가 공용 Memory에서 필요한 지식 벡터를 선택하므로 계층별 파라미터에 지식이 중복 저장되는 문제를 줄이고, 지식 저장소와 추론 능력을 별도로 확장할 기반을 제공합니다.
역방향 잔차 연결(Backward Residual Connection): — 일반적인 Residual Connection이 앞쪽 층의 정보를 뒤쪽 층으로 전달하는 데 비해, 깊은 층의 연산도 얕은 층에 저장된 지식에 접근하도록 만든 정보 전달 방식입니다. Mobius는 모든 층이 공유하는 Memory를 통해 이 양방향 접근을 간접적으로 구현하고, 특정 층에서 활성화하지 못한 지식을 이후 추론 단계에서 다시 조회합니다.
동적 잠재 추론(Dynamic Latent Reasoning): — 추론 과정을 매번 새로운 토큰으로 외부화하지 않고, 연속적인 Hidden States를 반복 갱신해 문제 해결에 필요한 정보를 압축하는 방식입니다. Mobius는 짧은 층 묶음마다 공용 Memory를 다시 조회하고 여러 토큰의 표현을 함께 정제한 뒤, 더 깊은 층에서 필요한 토큰을 동시에 생성합니다.
긴 사고 연쇄(Long Chain-of-Thought): — 복잡한 문제를 풀 때 모델이 중간 추론 토큰을 길게 생성하는 방식입니다. 토큰을 한 개씩 순차적으로 생성하므로 추론 길이가 늘수록 비용과 지연이 커지고, 시행착오나 반복 검증이 불필요한 토큰을 늘릴 수 있습니다. Mobius는 일부 숙고 과정을 잠재 벡터 갱신 안으로 옮겨 외부 CoT 길이를 줄이려 합니다.
희소 활성화(Sparse Activation): — 전체 파라미터나 지식 벡터를 매번 모두 계산하지 않고, 입력에 필요한 일부 블록만 선택해 활성화하는 방식입니다. Mobius는 큰 공유 FFN을 블록 단위로 나누고 Forward Propagation에서 일부만 사용해 파라미터 규모가 커질 때의 계산 부담을 낮춥니다. 이 방식은 MoE와 유사하지만 공용 지식 저장소의 선택 경로에 적용됩니다.

지식과 추론을 분리한 Mobius

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

키워드

용어 해설

관련 토론

댓글

관련 기사

Grouped Query Attention의 작동 원리와 KV cache 최적화

DeepSeek-V2의 핵심 기술인 Multihead Latent Attention(MLA)의 원리와 구현.

SMELT: 반복형 MoE Transformer의 계산량 대비 확장 법칙

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

키워드

관련 토론

댓글

관련 기사

Grouped Query Attention의 작동 원리와 KV cache 최적화

DeepSeek-V2의 핵심 기술인 Multihead Latent Attention(MLA)의 원리와 구현.

SMELT: 반복형 MoE Transformer의 계산량 대비 확장 법칙