본문으로 건너뛰기
Alignment Forum조회 1회

Astra의 No-CoT 추론 능력 도약

Astra는 CoT 없이 차순위 모델보다 8.6배 높은 문제 해결 확률을 기록했다.

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

이 글은 Chain of Thought 없이 문제를 푸는 능력을 19개 평가 과제로 측정한 No-CoT Reasoning Index를 만들고 Astra를 여러 모델과 비교한 연구입니다. Astra는 임의의 문제를 풀 확률에서 차순위인 Fable 5.1보다 약 8.6배 높았고, 합성 산술 과제에서 약 7.2개의 직렬 계산 단계를 처리해 Gemini 3.8 Flash와 Fable 5.1의 4.1단계를 앞섰습니다. 성능 상승은 일반 능력 향상만으로 예상되는 수준을 넘어 직렬·병렬 계산 과제에 집중됐으며, 작성자는 반복 계산을 수행하는 looping Transformer 구조가 원인일 가능성을 제기합니다. 다만 이 원인은 입증되지 않았고, NCRI와 CoT controllability의 상관도는 낮았으며, 측정 결과는 평가 설계와 LLM 사용 방식에 민감하다는 한계가 남습니다.

섹션별 상세

01
이 연구는 모델이 언어적 Chain of Thought를 생성하지 않고 얼마나 복잡한 문제를 처리하는지 측정하기 위해 19개 평가 과제로 NCRI를 구성했습니다. 평가에는 조회표를 여러 번 적용하는 문제, 프로그램 출력 예측, 그래프 최단 경로, Sudoku, 다중 단계 사실 회상, GPQA, GSM1k와 2026 Canadian maths competitions가 포함됐으며 대부분 합성 생성 문제라 암기 영향을 줄이도록 설계했습니다. 각 과제를 난이도별 하위 평가로 나눈 뒤 문제 난이도와 모델 능력을 시그모이드 함수에 맞춰 하나의 지표로 통합했고, NCRI 10점 차이는 임의의 문제를 풀 확률이 평균적으로 두 배가 되는 것으로 환산했습니다.
LLM이 추정한 인간 작업 시간과 NCRI의 관계를 나타낸 산점도입니다.
Chart가로축은 문제를 해결하는 데 필요한 인간 기준 시간을 로그 축으로 나타내고 세로축은 NCRI입니다. 272개 모델에서 두 값이 매우 높은 상관을 보여, 작성자가 제안한 NCRI가 시간 지평선 측정과도 유사한 순서를 산출한다는 점을 뒷받침합니다.
02
Astra는 NCRI에서 Fable 5.1을 포함한 차순위 모델보다 크게 앞섰고, 임의의 문제를 해결할 확률이 약 8.6배 높게 계산됐습니다. 전체 능력을 나타내는 ECI와 비교해도 NCRI 상승폭이 예상선을 크게 웃돌았으며, 그래프에서는 Astra가 다른 모델보다 높은 위치에 분리되어 나타났습니다. 작성자는 기존에 독립적으로 만든 No-CoT 평가에서 같은 현상을 재현했기 때문에 핵심적인 성능 격차 자체는 측정 오류만으로 보기 어렵다고 판단하지만, 연구 결과가 연구자의 프롬프트와 평가 선택에 민감하다는 점은 함께 인정합니다.
NCRI와 Epoch Capability Index를 비교한 산점도에서 gpt-6-astra가 다른 모델보다 크게 높은 NCRI 위치에 놓여 있습니다.
Chart가로축은 전체 능력을 나타내는 ECI이고 세로축은 CoT 없이 문제를 푸는 NCRI입니다. gpt-6-astra는 ECI 상승으로 예상되는 추세선보다 약 33 NCRI 포인트 높아, 전체 능력 대비 No-CoT 추론에서 비례 이상으로 앞선다는 글의 핵심 결과를 시각화합니다.
03
Astra의 강점은 모든 인지 과제에 고르게 나타난 것이 아니라 직렬·병렬 계산을 포함한 합성 과제에 집중됐습니다. 직렬 계산은 앞 단계의 결과를 다음 단계가 이어받는 조회표 적용이나 중첩 산술로 측정했고, 병렬 계산은 여러 문장이나 식을 동시에 처리하는 방식으로 구성했습니다. Astra는 합성 과제 NCRI에서 비합성 과제 기준선보다 약 40점 높았지만, 다중 단계 사실 회상에서는 50% 성공 지점이 3.6개 사실로 Gemini 3.8 Flash의 2.8개보다 앞서는 정도였으며, 이 차이가 합성 과제 특성인지 잡음인지는 확정되지 않았습니다.
합성 과제 NCRI와 비합성 과제 NCRI를 비교한 산점도입니다.
Chart대부분의 모델은 두 평가 유형에서 비슷한 위치에 있지만 gpt-6-astra는 합성 과제 축에서 크게 위로 벗어납니다. 이 차이는 Astra의 일반적 지식보다 직렬·병렬 계산을 포함한 합성 추론에서 성능 상승이 더 크다는 분석과 연결됩니다.
직렬 계산, 병렬 계산, 검색, 수학, 사실 회상, GPQA와 같은 과제군별 초과 NCRI를 비교한 막대그래프입니다.
ChartAstra는 직렬 계산과 병렬 계산 패널에서 다른 모델보다 큰 양의 초과 NCRI를 보입니다. 반면 다중 단계 사실 회상과 Wordplay에서는 같은 정도의 우위가 나타나지 않아, 성능 도약이 특정 계산 속성에 편중됐다는 점을 드러냅니다.
다중 단계 사실 회상에서 연결한 사실 수와 정답률을 비교하고, 합성 과제 직렬 깊이와 사실 연결 깊이를 함께 비교한 그래프입니다.
ChartAstra는 사실을 약 3.6개 연결하는 지점에서 50% 정답률을 기록해 Gemini 3.8 Flash의 약 2.8개보다 높습니다. 다만 합성 산술 단계 수와 비교하면 모델별 관계가 유지되면서도 Astra의 우위 폭은 줄어들어, 합성 과제에서의 특수한 강점이나 측정 잡음 가능성을 남깁니다.
04
직렬 계산 깊이는 문제의 중간값을 단계마다 조금씩 바꾸고 최종 답이 바뀌는 의존 단계 수를 세어 추정했습니다. 이 방법으로 산술 과제에서 Astra의 50% 성공 지점은 약 7.2단계였고, Fable 5.1은 4.1단계, Gemini 3.8 Flash도 4.1단계 수준이었습니다. 반복문으로 작성한 프로그램과 각 단계를 펼쳐 쓴 프로그램을 비교했을 때 Astra의 성공 지점은 4.2단계에서 5.5단계로 높아져 여러 토큰에 계산을 분산할 때 중간값을 전달하는 이점이 나타났지만, 반복문 형태에서도 일정 수준의 성능을 유지했습니다.
Astra, Fable 5.1, Gemini 3.8 Flash의 문제별 의존 단계 수와 정답률을 시그모이드 곡선으로 맞춘 그래프입니다.
Chart각 패널은 chain, config_patch, arithmetic, brew 과제에서 의존 단계가 늘어날수록 정답률이 어떻게 떨어지는지 나타냅니다. Astra의 50% 성공 지점이 네 과제에서 대체로 더 오른쪽에 있어, 한 번의 추론 과정에서 더 깊은 직렬 계산을 처리하는 능력을 수치화합니다.
모델별 추정 직렬 깊이와 예측 깊이를 비교한 두 개의 그래프입니다.
Chart왼쪽 그래프는 산술 단계 기준으로 모델별 50%와 80% 성공 지점의 직렬 깊이를 보여주며 Astra가 약 7.2단계로 가장 높습니다. 오른쪽 그래프는 모델 직렬 깊이와 과제 단위로 계산한 예측값이 실제 측정값과 대체로 일치함을 나타내지만, 일부 과제에서는 차이가 남습니다.
21개 모델의 NCRI와 측정된 산술 직렬 깊이 사이의 관계를 나타낸 산점도입니다.
ChartNCRI가 증가할수록 모델이 처리할 수 있는 산술 단계 수도 증가하는 선형적 경향이 나타납니다. Astra는 NCRI 약 160과 직렬 깊이 약 7.2단계로 오른쪽 위에 위치해 두 지표 모두에서 차순위 모델과 분리됩니다.
05
글은 Astra의 성능 도약이 반복 계산을 수행하는 looping Transformer 구조와 관련됐을 가능성을 가장 유력한 가설로 둡니다. 반복 구조는 같은 계층을 여러 번 실행해 한 번의 입력 처리 안에서 더 많은 직렬 계산을 허용할 수 있지만, 현재 실험은 구조적 원인을 직접 입증하지 않았고 OpenAI가 CoT controllability의 변화가 구조 변경 때문에 차별적으로 발생하지 않았다고 밝힌 내용과도 긴장 관계가 있습니다. 또한 34개 open-weight reasoning model에서 CoT-Control 평가를 수행한 결과 NCRI와 CoT controllability의 Spearman 상관은 0.10에 그쳐, 한 번의 순전파에서 문제를 많이 계산하는 능력과 추론 흔적을 지시대로 조절하는 능력을 같은 지표로 볼 수 없었습니다.
34개 open-weight reasoning model에서 CoT controllability와 NCRI의 관계를 나타낸 산점도입니다.
Chart세로축은 추론 흔적이 지시를 따르는 비율이고 가로축은 NCRI이며, 두 지표의 상관은 0.10으로 거의 없습니다. 대부분 모델의 controllability 점수가 0에 가까운 가운데 일부 모델군만 상대적으로 높은 값을 보여, No-CoT 추론 능력과 CoT 형식 제어 능력이 서로 다른 특성임을 시사합니다.
06
안전 측면에서 No-CoT 능력이 높아지면 모델이 어려운 작업을 위해 관찰 가능한 CoT에 의존할 기계적 압력이 낮아질 수 있습니다. Astra는 이미 CoT monitorability가 낮은 모델로 측정됐기 때문에, NCRI는 그 현상이 나타나는 이유와 앞으로의 변화를 추적하는 보조 지표로 의미가 있지만 직접적인 안전 판정 기준은 아닙니다. 반복 횟수를 계속 늘려 불투명한 방식으로 추론 계산량을 확장할 수 있다면 위험이 커질 수 있으나, open-weight looping model 실험은 결과가 잡음이 많았고 작성자도 이 가능성에 대한 결론을 유보했습니다.
python
v = 4
for k in range(4):
    if v % 2 == 0:
        v = (v // 2 + 6 + k) % 23
    else:
        v = (v * 2 - 5 + k) % 23
print(v)

Astra가 반복문 형태의 프로그램을 순전파 안에서 평가하는 능력을 측정하는 예시입니다.

python
v = 4
if v % 2 == 0:
    v = (v // 2 + 6 + 0) % 23
else:
    v = (v * 2 - 5 + 0) % 23
if v % 2 == 0:
    v = (v // 2 + 6 + 1) % 23
else:
    v = (v * 2 - 5 + 1) % 23
if v % 2 == 0:
    v = (v // 2 + 6 + 2) % 23
else:
    v = (v * 2 - 5 + 2) % 23
if v % 2 == 0:
    v = (v // 2 + 6 + 3) % 23
else:
    v = (v * 2 - 5 + 3) % 23
print(v)

같은 계산을 각 단계가 펼쳐진 형태로 제공해 Astra의 직렬 계산 성능 변화를 비교하는 예시입니다.

Astra에 같은 계산을 반복문과 단계별로 펼친 코드로 입력했을 때의 정답률을 비교한 그래프입니다.
Chart가로축은 의존 단계 수이고 실선은 각 단계를 별도 블록으로 펼친 입력, 점선은 반복문 입력을 뜻합니다. 펼친 형태의 50% 성공 지점은 5.5단계, 반복문 형태는 4.2단계로 나타나 여러 토큰에 계산을 배치할 때 Astra가 중간 상태를 처리하기 더 쉬울 가능성을 보여줍니다.
반복 횟수를 조절할 수 있는 open-weight looping model의 perplexity, NCRI, 희귀 사실 지식을 비교한 그래프입니다.
Chart왼쪽 패널에서는 반복 횟수 변화에 따라 perplexity와 NCRI가 변하고, 오른쪽 패널에서는 희귀 사실 정확도가 크게 늘지 않는 양상이 나타납니다. 일부 모델은 looping을 늘릴 때 지식보다 No-CoT 추론이 더 높아지는 경향을 보이지만 결과가 잡음이 많아 구조적 결론을 내리기 어렵다는 글의 유보적 해석과 맞닿아 있습니다.
Looping model의 NCRI를 합성 과제와 비합성 과제로 나누어 비교한 두 개의 그래프입니다.
Chart두 패널 모두 반복 횟수에 따른 모델별 NCRI 변화를 보여주며, Ouro와 Nanbeige가 일반적인 perplexity 추세보다 높은 No-CoT 추론 값을 보이는 지점이 표시됩니다. 합성 과제와 비합성 과제에서 비슷한 방향의 변화가 보이지만 모델 규모와 사전학습 조건이 달라 원인 분리는 어렵습니다.

용어 해설

No-CoT 추론(No-CoT Reasoning)
— Chain of Thought를 출력하지 않고 단일 추론 과정 안에서 문제를 해결하는 능력입니다. 이 글에서는 모델이 언어적 사고 흔적을 생성하지 않은 채 얼마나 많은 직렬·병렬 계산을 처리하는지 NCRI와 문제별 성공률로 측정합니다. No-CoT 능력이 높으면 어려운 작업을 수행하기 위해 외부에서 관찰 가능한 CoT에 의존할 필요가 줄어들어 모니터링 가능성에도 영향을 줄 수 있습니다.
Chain of Thought
— 언어로 중간 추론 단계를 생성하면서 여러 번의 모델 순전파를 연결하는 방식입니다. 각 순전파의 직렬 계산 깊이는 제한되어 있지만, CoT가 생성한 토큰을 다음 입력으로 사용하면 여러 순전파를 이어 더 긴 계산을 수행할 수 있습니다. 따라서 CoT는 모델의 문제 해결 능력을 높이는 동시에 모델이 실제로 무엇을 했는지 감시하는 안전 장치가 될 수 있습니다.
직렬 계산 깊이(Serial Depth)
— 이전 계산의 결과가 다음 계산의 입력이 되어 순차적으로 이어지는 연산 단계의 수입니다. 글에서는 실행 중간값을 조금씩 바꾼 뒤 최종 답이 달라지는 단계를 세어 문제의 의존적 단계 수를 추정하고, 모델의 50% 성공 지점과 비교합니다. Astra는 합성 산술 과제에서 약 7.2단계까지 처리해 차순위 모델의 4.1단계를 크게 앞섰습니다.
벤치마크 결합(Benchmark Stitching)
— 서로 다른 난이도와 문제 범위를 가진 여러 평가 세트를 하나의 능력 지표로 통합하는 방법입니다. 각 평가를 비슷한 난이도의 하위 평가로 나누고, 문제 난이도와 모델 능력을 추정한 뒤 성공 확률을 시그모이드 함수로 맞춥니다. 이 글에서는 그 결과를 NCRI로 변환했으며, NCRI 10점 증가는 임의의 문제를 풀 확률이 평균적으로 두 배가 되는 차이로 해석합니다.
CoT 모니터링 가능성(CoT Monitorability)
— 모델이 생성한 Chain of Thought를 읽어 실제 내부 작업을 얼마나 잘 파악할 수 있는지를 뜻합니다. 모델이 어려운 문제를 풀 때 CoT를 기계적으로 필요로 하면 관찰 가능한 추론 흔적이 남을 가능성이 커지지만, 한 번의 순전파에서 더 많은 계산을 수행하면 CoT 없이도 문제를 풀 수 있습니다. 글은 Astra의 높은 No-CoT 능력이 CoT 모니터링 가능성을 낮추는 요인일 수 있다고 추정하지만 두 지표의 직접적인 동일성은 부정합니다.

기술

  • Astra
  • Fable 5.1
  • Gemini 3.8 Flash
  • Epoch Capability Index
  • No-CoT Reasoning Index
  • GPQA
  • GSM1k
  • CoT-Control

활용 사례

  • CoT 없이 수행하는 모델 추론 능력 평가
  • 모델의 직렬 계산 깊이 측정
  • CoT monitorability 위험 추적
  • Looping Transformer 구조의 능력 변화 비교
  • 추론 모델의 controllability와 No-CoT 능력 분리 평가
AI 분석 전체 내용 보기

AI 요약 · 북마크 · 개인 피드 설정 — 무료

출처 · 인용 안내

원문 발행 2026. 09. 10.수집 2026. 09. 10.출처 타입 RSS

인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.