챕터별 상세
기존 LLM 추론의 한계점 분석
LLM 인퍼런스는 확률이 높은 다음 토큰을 생성하는 방식이기에 올바른 추론을 보장하지 못한다. 특히 한 번 뱉은 말을 주워담을 수 없는 선형적 구조(Left-to-Right)로 인해 초기 단계의 작은 실수가 이후 모든 단계를 오염시키는 에러 누적(Error Accumulation) 문제가 발생한다. 이는 대안을 비교하거나 더 나은 경로를 탐색하는 과정이 부재하기 때문에 발생하는 구조적 한계이다.
추론을 탐색 문제로 재정의: Reasoning as Search
단순한 연상 작용을 넘어 LLM이 의도적인 계획(Deliberate Planning)을 수행하도록 만들기 위해 추론을 탐색 문제로 접근한다. 이를 위해 추론 과정을 상태(State), 탐색(Navigation), 평가(Evaluation)의 세 가지 축으로 정의한다. 고급 추론은 더 많은 토큰을 생성하는 것이 아니라, 잘 정의된 상태 공간에서 더 나은 탐색과 선택을 수행하는 과정으로 이해된다.
Tree of Thoughts (ToT) 프레임워크
Chain-of-Thought의 단일 경로 한계를 극복하기 위해 중간 추론을 노드로 하는 트리 구조의 ToT 프레임워크를 제안했다. LLM이 생성한 여러 사고(Thought)를 트리 구조로 관리하며, 자기 평가를 휴리스틱으로 활용하여 유망한 경로를 선택한다. 이는 인간이 문제를 해결할 때 여러 대안을 고려하고 시행착오를 거치는 과정과 유사한 Deliberate Problem Solving을 구현한다.
ToT의 핵심 요소: 사고 분해 및 생성
ToT를 구현하기 위해 사고(Thought)를 적절한 단위로 분해하는 과정이 필수적이다. 사고의 단위는 생성 가능할 만큼 작으면서도 평가 가능할 만큼 의미 있는 수준이어야 한다. 사고 생성 전략으로는 동일한 프롬프트에서 여러 번 샘플링하는 방식(Sample)과 하나의 프롬프트에서 여러 후보를 나열하는 방식(Propose)을 사용한다.
ToT의 핵심 요소: 상태 평가 및 탐색 알고리즘
상태 평가기(State Evaluator)는 각 중간 단계가 정답으로 이어질 가능성을 판단하며, LLM 자체를 평가자로 활용한다. 평가 방식은 각 상태를 독립적으로 점수화하는 Value 방식과 여러 후보를 비교하는 Vote 방식이 있다. 탐색 알고리즘으로는 각 단계에서 상위 B개의 유망한 상태를 유지하는 BFS(Beam Search)와 깊게 탐색하다 가망이 없으면 되돌아오는 DFS를 문제 특성에 맞게 선택한다.
ToT 실험 결과: Game of 24 및 Creative Writing
수학적 추론 과제인 Game of 24에서 ToT는 74%의 성공률을 기록하며 CoT(4%) 대비 압도적인 성능을 보였다. 이는 초기 연산 선택의 오류를 중간 평가와 탐색으로 극복했기 때문이다. Creative Writing 과제에서도 ToT는 글쓰기 계획을 먼저 수립하고 평가하는 과정을 통해 CoT보다 일관성 있고 품질 높은 글을 생성했으며, 인간 평가에서도 더 높은 선호도를 얻었다.
ToT 실험 결과: Mini Crosswords
탐색 깊이가 깊고 제약 조건이 복잡한 Mini Crosswords 과제에서 ToT는 DFS 기반 백트래킹을 적용했다. 단어 단위로 사고를 정의하고, LLM의 컨피던스 평가를 통해 불가능한 경로는 가지치기(Pruning)를 수행했다. 실험 결과 ToT는 기존 방식들이 거의 해결하지 못한 퍼즐을 20%의 성공률로 해결했으며, 백트래킹 과정이 성능 향상에 결정적인 역할을 했음을 확인했다.
자기 평가 가이드 빔 서치 (Self-Evaluation Guided Beam Search)
추론 과정을 여러 토큰 시퀀스 단계로 분해하고, 각 단계에서 생성 확률(Likelihood)과 자기 평가 점수(Correctness)를 결합한 점수를 기반으로 빔 서치를 수행한다. 단순히 자연스러운 문장을 만드는 것을 넘어, LLM이 스스로 판단한 정답 가능성을 탐색 가이드로 활용한다. 이를 통해 추론 체인의 일관성을 높이고 오류가 포함된 경로를 효과적으로 배제한다.
자기 평가 가이드 빔 서치 실험 및 분석
산술 추론(GSM8K)과 상식 추론 과제에서 제안 기법은 기존 CoT나 PAL 대비 우수한 성능을 보였다. 특히 추론 단계가 길어질수록 성능 향상 폭이 컸으며, 이는 에러 누적을 방지하는 효과를 입증한다. 비용 분석 결과, 더 적은 계산량(토큰 수)으로도 기존 베이스라인보다 높은 정확도를 달성하여 효율적인 탐색이 가능함을 보여주었다.
용어 해설
- 사고의 사슬(Chain-of-Thought)
- — LLM이 복잡한 문제를 해결할 때 중간 추론 단계를 명시적으로 생성하도록 유도하는 프롬프팅 기법이다. 모델이 단계별로 생각을 전개함으로써 최종 정답의 정확도를 높이는 효과가 있다.
- 사고의 트리(Tree-of-Thought)
- — CoT의 선형적인 추론 방식을 확장하여 여러 추론 경로를 트리 구조로 탐색하는 프롬프팅 프레임워크이다. 중간 단계마다 평가를 수행하고 유망한 경로를 선택하거나 백트래킹을 수행할 수 있다.
- 빔 서치(Beam Search)
- — 각 단계에서 가장 유망한 상위 K개의 후보(빔)만을 유지하며 탐색하는 알고리즘이다. 모든 경로를 탐색하는 대신 효율적으로 최적에 가까운 해를 찾는 데 사용된다.
- 백트래킹(Backtracking)
- — 탐색 과정에서 현재 경로가 해결책에 도달할 수 없다고 판단될 때, 이전 단계로 돌아가 다른 경로를 시도하는 알고리즘 설계 기법이다.
- 자기 평가(Self-Evaluation)
- — LLM이 자신이 생성한 중간 결과물이나 추론 단계의 타당성을 스스로 평가하는 과정이다. 이를 통해 오류를 조기에 발견하고 탐색 효율을 높일 수 있다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 02. 06.수집 2026. 02. 21.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
