REASONINGLENS: 대형 추론 모델을 위한 계층적 시각화 및 진단 감사

대형 추론 모델이 생성하는 장문의 Chain-of-Thought는 중요한 논리적 결정을 긴 텍스트 내부에 은닉하여 수동 검증을 극도로 어렵게 만들었다. REASONINGLENS는 이 문제를 해결하기 위해 CoT를 탐색 전략과 절차적 실행으로 분리하는 계층적 표현을 제공하며, 자동화된 에이전트 기반 진단으로 오류를 국지화한다. 이러한 구조적·자동화적 접근은 모델의 내부 논리성 검증과 안정성 개선을 위한 실용적 기반을 제공한다.

출발점과 기존 한계: 대형 추론 모델은 긴 Chain-of-Thought를 생성하면서 문제 분해, 검증, 절차적 계산을 혼재된 텍스트로 출력한다. 이 때문에 핵심 전략과 로컬 계산이 텍스트의 장벽 속에 묻혀 수작업으로 핵심 논리를 추출하고 오류를 찾는 작업이 비현실적으로 복잡해졌다. 기존 시각화 방법은 주로 텍스트 렌더링이나 단순 그래프를 제공했으나, 긴 추론의 기능적 분해와 진단 자동화에는 한계가 있었다.

해결 원리: 논문은 긴 CoT를 'planning unit'으로 분할하고 해당 단위를 LLM으로 군집하여 매크로(탐색 전략)와 마이크로(절차적 실행) 계층으로 재구성한다. 매크로 노드는 문제 분해·백트래킹·검증 같은 고수준 전략을 캡처하고, 각 매크로 노드 내부는 지식 회수·절차 실행·상태 확정 같은 세부 실행 노드로 정교하게 표현된다. 이러한 분리는 전체 토폴로지(전역 전략 흐름)와 국지적 계산 종속성(오류 원인 추적)을 동시에 보존하므로 자동 검증 및 증거 압축이 가능해진다.

달라지는 점: 이 접근은 긴 CoT를 단순 텍스트 렌더링이 아니라 기능적 계층 구조로 변환하므로 오류 감지 작업을 로컬 라벨링 문제로 축소한다. 에이전트 기반 진단 모듈이 메모리 압축과 외부 검증 도구 호출을 통해 오류를 재현 가능하게 식별하므로 단일 모델의 추론 능력에 좌우되는 수동 검사 의존도를 낮춘다. 결과적으로 모델 간 비교와 시스템적 병목 진단이 가능한 증거 기반 프로파일을 생성할 수 있다.

전체 접근 개관: REASONINGLENS는 세 가지 상호작용 모듈로 구성된다. 첫째는 Hierarchical Visualization으로 긴 CoT를 planning unit으로 분할하고 LLM을 이용해 매크로 노드로 군집화한 뒤 각 매크로 내부를 마이크로 실행 노드로 재구성한다. 둘째는 Agentic Diagnosis로 Memory, Verification, Suggestion 모듈을 운용해 오류를 탐지·검증하고 유형별 수정 제안을 매핑한다. 셋째는 Systemic Profiling으로 다수의 궤적을 압축해 모델 수준의 탐색 습관과 안정성 병목을 추출한다.

핵심 메커니즘 상세: planning unit은 결단형 어휘(예: "but", "alternatively")와 문맥적 신호를 이용해 원문을 원자 단위로 분할한다. 매크로 그래프 Gmacro는 연속 구간을 매크로 노드로 병합하고 노드에 기능적 타입을 할당한 후 forward/backtracking/check 엣지로 토폴로지를 구성한다. 각 매크로 노드 내부는 Vmicro 순서열을 구성해 절차적 종속성을 마이크로 엣지로 연결하므로 미세한 오류를 해당 실행 단계로 정확히 환원할 수 있다.

진단 알고리즘과 증거 압축: Agentic Diagnosis의 Memory 모듈은 CoT를 점진적으로 요약·압축하여 지역적 문맥을 유지하면서도 전체 일관성을 보존한다. Verification 모듈은 외부 도구 호출을 통해 수치 연산·수식·사실관계의 모순을 확인하고, Suggestion 모듈은 오류 유형별로 훈련비용이 없는 교정법과 후처리 기법을 매핑해 실용적 개입점을 제공한다. Systemic Profiling은 LLM 기반 의미 중복 제거로 유사 경로를 병합하고 검색 토폴로지 분포, 노드별 오류 발생률, 검증 일관성 같은 전역 지표를 산출한다.

벤치마크 구성 및 평가 지표: LENSBENCH는 130개의 인간 검증된 사례로 구성되어 탐색 수준 구조와 오류 주석을 모두 제공한다. 계층적 시각화 평가는 Node Type Accuracy(NTA)와 Graph Edit Similarity(GES)로 측정되며 오류 진단은 클래스별 Precision/Recall/F1과 마이크로 평균으로 집계한다. 논문은 다섯 개 백본 모델에서 구조 복원과 오류 진단 성능을 동시에 평가했다.

주요 실험 결과: Agentic Diagnosis의 전체 진단 F1은 모델 역량에 따라 차이를 보였으며 Qwen3-32B에서 66.3, DeepSeek-V4-Pro에서 82.3의 범위를 보였다. Safety 검출 성능은 모든 모델에서 안정적으로 높았으나 Knowledge Error와 Logical Error 탐지는 모델 종속성이 강해 성능 편차가 컸다. Hierarchical Visualization 모듈은 모델 규모에 관계없이 평균 NTA 75.0, GES 69.7 수준의 안정적 복원을 유지하여 구조적 분할이 진단 파이프라인에서 독립적이고 견고한 구성 요소임이 확인됐다.

사례 분석과 응용 가능성: 논문은 Qwen3-32B의 장문 CoT를 매크로·마이크로 블록으로 분해해 은닉된 안전성 문제와 오버씽킹을 국지화한 사례를 제시한다. 발견된 취약점에는 조기 종료(Early Stopping) 같은 실용적 완화책이 연결되어 실제 모델 정렬 파이프라인에서 바로 적용 가능한 인사이트를 생성했다. 이러한 사례는 구조적 표현과 에이전트 기반 검증이 결합될 때 실무적 디버깅 비용을 줄일 수 있음을 시사한다.

전체 아키텍처 구조: 시스템은 Hierarchical Visualization, Agentic Diagnosis, Systemic Profiling의 세 계층으로 구성되며 각 모듈은 서로 연계된 데이터 흐름을 가진다. 입력 CoT는 우선 planning unit으로 분할되며 매크로 노드 군집화와 마이크로 실행 그래프 생성을 통해 트리형 탐색 토폴로지와 절차적 종속성을 동시에 보존한다. Agentic Diagnosis는 이 구조를 입력으로 받아 메모리 압축·외부 검증·수정 제안의 순환을 수행한다.

핵심 메커니즘의 알고리즘적 기반: planning unit 분할은 결정형 어휘와 연속성 기준으로 원문을 최소 의미 단위로 쪼개며, LLM을 이용해 연속된 단위들을 매크로 노드로 병합한다. 그래프 정합성은 노드 타입과 엣지 타입을 기능적 레이블로 유지한 채 Graph Edit Distance 기반 유사성으로 평가되며, NTA와 GES는 해당 정합성을 수치화한다. Memory 모듈은 요약·압축 알고리즘을 반복 적용해 지역 맥락 손실을 최소화하면서도 긴 트레이스를 처리 가능하게 만든다.

Prior work 대비 차별점: 기존 시각화는 주로 텍스트 기반 렌더링이나 단순한 경로 표시 수준에 머물렀으나 본 기법은 기능적 분류와 계층적 재구성을 통해 자동 진단 체인과 직접 연결되는 구조를 만든다. 또한 오류 taxonomy와 multi-agent 검증 파이프라인을 결합해 단순 라벨링이 아닌 검증 가능한 진단 프로세스를 실현했다. Evidence compression과 semantic deduplication 절차는 다수의 궤적에서 유효 증거를 추출해 시스템적 프로파일을 만드는 데 기여한다.

구현 및 평가 세부사항: LENSBENCH 구축에는 GPT-5.4가 전처리·주석 생성에 사용되었고 인간 검수를 통해 최종 예제가 확정되었다. 평가 지표로는 Node Type Accuracy와 Graph Edit Similarity가 계층적 복원 fidelity를 측정하며 오류 진단은 클래스별 Precision/Recall/F1을 보고한다. 외부 도구 호출은 Verification 모듈에서 수치 및 형식 오류 확인을 위해 제한적으로 사용되며 그 결과는 Suggestion 모듈의 교정 제안 근거로 활용된다.

논문이 명시한 첫 번째 한계는 정적 Chain-of-Thought 트레이스에 초점을 맞추어 동적 에이전트 상호작용을 포괄하지 못한 점이다. 저자들은 향후 Plan-Act-Observe 사이클을 포함하는 에이전트 궤적 분석으로 확장할 계획을 밝히고 있으며 현재 버전은 대화형·다중 단계 도구 사용 흐름을 완전하게 모델링하지 않는다. 두 번째 한계는 배포 측면에서 아직 모놀리식 구성에 머물러 있어 플러그인형 경량 통합 생태계로의 전환이 필요하다는 점이다.