TL;DR
이 글은 AGI를 향한 추론 구조가 더 긴 Chain-of-Thought 생성보다 토큰 스트림 바깥의 latent state 계산으로 이동할 가능성을 다룹니다. Coconut과 Soft Thinking은 연속 hidden state를 반복 변환하고, Abstract-CoT는 짧은 비언어적 discrete token을 사용하며, recurrent-depth LM과 looped Transformer는 공유 block을 재적용합니다. HRM과 TRM은 과제별 재귀 solver를 학습하고, BDH-CQ는 inference 시점에 demonstration을 recurrent memory에 기록한 뒤 별도의 continuous latent space에서 새 입력을 계산합니다. BDH-CQ는 public ARC-AGI-1에서 기존 cost–accuracy Pareto frontier를 넘어섰다고 보고했으며, 사전 학습 실험에서는 600B parameters까지 Transformer와 유사한 scaling law를 보이면서 latent reasoning을 유지했습니다. 다만 자연어 CoT가 사라지면 해석 가능성과 평가에 쓰이던 readable trace를 잃을 수 있어, 효율성과 안전성 사이의 선택이 남습니다.
섹션별 상세
용어 해설
- 잠재 추론(Latent Reasoning)
- — 잠재 추론은 모델이 중간 추론 결과를 언어 토큰으로 매번 출력하지 않고 연속적인 hidden state를 반복 변환한 뒤 최종 답만 디코딩하는 방식입니다. 토큰 생성 비용과 읽을 수 있는 추론 흔적 사이의 균형을 바꾸며, 여러 탐색 경로를 하나의 상태에 담는 구조와 연결됩니다. 이 글에서는 연속 사고, 재귀적 계산, recurrent memory를 활용하는 여러 계열을 묶는 핵심 개념으로 쓰입니다.
- 사고 연쇄(Chain-of-Thought)
- — Chain-of-Thought는 모델이 답을 내기 전에 중간 추론 단계를 자연어 토큰으로 순차 생성하는 방식입니다. 글에서는 모델이 실제 계산과 어긋난 CoT를 만들거나 논리적인 단계 뒤에 오답을 낼 수 있다는 한계가 제기됩니다. 따라서 읽을 수 있는 추론 과정이 실제 내부 계산의 충실한 기록인지가 중요한 쟁점이 됩니다.
- 은닉 상태(Hidden State)
- — Hidden State는 Transformer 같은 모델이 입력을 처리하면서 내부적으로 유지하는 연속적인 벡터 표현입니다. Coconut은 모델의 마지막 hidden state를 다음 입력 embedding처럼 다시 넣어 언어 토큰을 거치지 않는 계산을 이어갑니다. 이 표현을 반복 변환하면 중간 결과를 자연어로 외부화하지 않고도 답을 계산하는 통로가 생깁니다.
- 테스트 시점 계산량(Test-Time Compute)
- — Test-Time Compute는 학습이 끝난 모델이 추론 단계에서 추가 계산을 수행하는 데 쓰는 연산량입니다. recurrent-depth LM과 looped Transformer는 같은 block을 latent state에 반복 적용해 매개변수 수를 크게 늘리지 않고 추론 깊이를 조절합니다. 이 글에서는 이러한 반복 계산이 reasoning interface보다 parameter efficiency와 추론 시점 확장 전략으로 주로 다뤄졌다는 차이가 제기됩니다.
- 전이적 학습(Transductive Learning)
- — Transductive Learning은 일반화된 규칙만 적용하는 대신 평가 시점에 주어진 특정 문제의 정보를 활용해 해당 문제에 맞게 최적화하는 방식입니다. HRM과 TRM의 ARC 파이프라인은 퍼즐별 identity를 학습에 넣고, 보지 못한 문제를 풀기 전에 backward pass를 수행합니다. 따라서 새로운 과제를 문맥이나 memory로 즉시 습득하는 방식과 gradient 기반 최적화를 거치는 방식이 구분됩니다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
