강한 모델이 약한 모델용 하니스를 컴파일하는 법

왜 중요한가

기존 distillation은 강한 모델의 능력을 약한 모델 가중치에 학습시키지만, 이 연구는 모델을 재학습하지 않고 추론 환경을 바꿔 능력을 이전합니다. GPT-5.4-mini의 no-scaffold macro-average accuracy가 0.488에서 평균 0.763으로 상승했고, 최고 scaffold는 0.912에 도달했습니다. 이 결과는 작은 모델 배포에서 추가 학습 비용 대신 강한 builder가 만든 routing, 규칙, 검증, 형식 제약을 활용하는 경로를 구체화합니다.

핵심 기여

추론 시점 능력 이전의 정식화

강한 builder model이 고정된 약한 target model을 위해 재사용 가능한 scaffold를 만들고, hidden test set을 보지 않은 채 validation set만으로 개선하는 strong-to-weak scaffolding 설정을 정의했습니다. 능력 이전의 매개체를 모델 가중치가 아니라 inference-time harness로 분리해 평가할 수 있게 했습니다.

72회 실행을 통한 효과와 조건 측정

4개 Theory-of-Mind benchmark와 2개 target model을 사용해 72회 실행을 수행하고, 정확도 상승폭, 반복 안정성, validation 사용량, builder·platform·target 의존성, reasoning effort, technique별 연관성을 함께 측정했습니다. GPT-5.4-mini 대상 scaffold 실행의 100%가 vanilla baseline을 넘었고, 평균 uplift는 +0.275였습니다.

인지 부담을 줄이는 메커니즘 규명

강한 scaffold는 format enforcement와 greedy decoding으로 신뢰성 하한을 만들고, benchmark routing, polarity logic, structured extraction, deterministic solver로 반복 가능한 추론을 외부 코드와 규칙으로 옮겼습니다. deterministic 처리 비율과 최종 정확도의 Pearson 상관은 r=0.72였으며, 코드 길이 자체와 정확도의 관계는 약했습니다.

남은 오류와 적용 조건의 확인

BigToM은 규칙 컴파일이 잘 되어 거의 해결되지만, Hi-ToM의 높은 recursion order와 deception, MMToM-QA의 Bayesian goal inference, MuMA-ToM의 social-goal·belief-of-goal 문제에는 오류가 남았습니다. target model의 headroom이 클수록 scaffold 효과가 커졌고, 이미 강한 Gemini-3.5-flash에서는 일부 benchmark 성능이 오히려 하락했습니다.

핵심 아이디어 이해하기

일반적인 knowledge distillation은 강한 teacher의 출력이나 rationale을 이용해 약한 student의 파라미터를 갱신합니다. 이 연구는 약한 모델의 실패가 내부 능력 부족뿐 아니라 문제를 제시하는 방식에서 생기는 cognitive load 때문일 수 있다고 봅니다. 따라서 모델 자체를 키우는 대신 입력을 분류하고 중간 상태를 정리하며 답변 형식을 제한해, 같은 target model이 이미 가진 능력을 더 안정적으로 사용하게 만듭니다.

강한 builder는 target model에 정답을 직접 전달하지 않고, task를 처리하는 외부 절차를 만듭니다. validation example을 읽은 뒤 benchmark subtype을 구분하고, 필요한 경우 observation state나 belief state를 추출하며, 규칙으로 풀 수 있는 부분은 코드로 처리하고 나머지만 target model에 보냅니다. 출력은 parser와 format enforcement를 거쳐 최종 선택지로 변환되므로, 입력에서 분류·분해·추론·검증·제출까지의 흐름이 하나의 재사용 가능한 harness가 됩니다.

이 구조는 Transformer의 파라미터에 새 지식을 저장하는 과정과 다릅니다. builder가 validation set에서 발견한 규칙을 scaffold 코드와 prompt template로 한 번 외부화하면, target model은 각 hidden example에서 같은 절차를 실행합니다. 예를 들어 BigToM처럼 관찰 여부와 질문 극성이 일정한 문제는 deterministic solver가 직접 처리할 수 있지만, 깊은 nested belief와 Bayesian goal inference처럼 규칙으로 완전히 고정하기 어려운 문제는 target model의 reasoning이 계속 필요합니다.

실험에서 이 차이가 수치로 확인됩니다. GPT-5.4-mini의 vanilla 정확도 0.488은 scaffold 평균 0.763으로 상승했고, 최고 실행은 0.912에 도달했습니다. 반면 Gemini-3.5-flash는 baseline 0.761에서 0.871로 상승하는 데 그쳤고 일부 Hi-ToM과 MuMA-ToM 결과는 하락했으므로, harness는 모델이 가진 미사용 능력과 남은 오류 여유가 있을 때 가장 큰 효과를 냅니다.

방법론

각 benchmark에서 전체 예시의 5%를 고정 random seed로 validation split V로 뽑고 나머지를 hidden test split T로 보류합니다. builder model은 rule file R, target demo C_demo, validation set V를 포함한 workspace만 읽으며 T에는 접근하지 못합니다. 처음에는 빈 scaffold S0에서 시작하고, 매 반복마다 scaffold를 작성하거나 수정한 뒤 target model을 V에 실행해 예측과 accuracy, 오답 집합을 workspace에 누적합니다.

builder는 고정된 scaffold architecture를 따르지 않아도 되며 prompt template, benchmark routing, deterministic pre-processing과 post-processing, few-shot retrieval, verification pass, symbolic solver, answer-format enforcement를 조합할 수 있습니다. 반복 과정은 task resource 확인, scaffold 구현, target model 호출, validation 오류 진단, 다음 scaffold 수정의 순서로 진행됩니다. 제출 시점에는 hidden test에 적용할 실행 진입점 f_S(x; M_tar) 하나를 내보내며, 이후 human evaluator가 builder의 추가 개입 없이 전체 T를 실행합니다.

실험 task는 BigToM 1200개, Hi-ToM 1200개, MMToM-QA 600개, MuMA-ToM 900개로 구성된 3900-item hidden test set입니다. 각 benchmark의 full-set accuracy 네 개를 unweighted macro average로 합치고, validation evaluation 횟수는 효율성 지표로 별도 기록합니다. Builder는 GPT-5.5, Opus-4.7, Sonnet-4.6, Gemini-3.1-Pro, Gemini-3.5-flash, Codex-5.3, GPT-5.4-mini, Grok-0.1 등이었고, platform은 Cursor, Claude Code, GPT Codex였습니다.

비교 기준은 target model을 naive prompt로 직접 호출하는 vanilla와 사람이 만든 UserHarness입니다. GPT-5.4-mini의 vanilla macro-average는 0.488, 같은 target에 UserHarness를 적용한 값은 0.939였으며 Gemini-3.5-flash의 기준값은 각각 0.761과 0.941이었습니다. 각 실험 설정은 3회 반복해 scaffold가 validation 우연이나 특정 platform에만 의존하는지 확인했습니다.

주요 결과

GPT-5.4-mini를 target으로 한 57개 scaffold 실행의 평균 macro-average는 0.763으로 vanilla baseline 0.488보다 +0.275 높았습니다. 57개 실행 모두 baseline을 넘었고, GPT-5.5가 GPT Codex에서 만든 최고 실행은 0.912로 +0.423 uplift를 기록했습니다. 이는 no-scaffold GPT-5.4의 0.619와 GPT-OSS-120B 기준도 여러 benchmark에서 앞서는 값이지만, human-inspired UserHarness 0.939와의 차이는 남았습니다.

반복 안정성의 평균 standard deviation은 0.036으로 평균 uplift보다 약 한 자릿수 작았지만, 가장 넓은 설정의 반복 범위는 0.201이었습니다. 큰 변동은 deterministic solver에서 한 규칙 구현 오류가 1000개 이상 benchmark의 결과를 함께 바꿀 때 나타났습니다. Validation은 평균 4.9회, 중앙값 5회만 사용됐고 best validation accuracy와 hidden full-set accuracy의 상관은 r=0.96이었지만, validation 반복 횟수와 최종 정확도의 상관은 r=0.17에 머물렀습니다.

가장 자주 쓰인 기법은 format enforcement 57/57, greedy decoding 또는 temperature control 56/57, benchmark routing 54/57, forced CoT 45/57, polarity·negation logic 45/57이었습니다. Polarity logic은 사용 실행의 평균 정확도가 미사용 실행보다 +0.090 높았고 structured extraction은 +0.055 높았지만, 기법들은 함께 사용되는 경우가 많아 개별 수치는 인과 효과가 아닌 연관성으로 해석해야 합니다. Deterministic fraction과 최종 정확도의 상관은 r=0.72였고, scaffold Python LOC와 정확도의 상관은 약 r=0.22였습니다.

Builder model과 reasoning effort가 platform보다 큰 영향을 보였습니다. Opus-4.7의 effort를 low에서 extra-high로 높이면 양쪽 platform에서 정확도가 단조 증가했고, pooled accuracy는 0.711, 0.793, 0.807, 0.856으로 올라갔으며 effort와 run accuracy의 Spearman ρ는 0.77이었습니다. GPT-5.4-mini는 평균 +0.262 uplift를 얻었지만 Gemini-3.5-flash는 +0.110에 그쳤고, 후자의 Hi-ToM은 평균 -0.04, MuMA-ToM은 -0.02 변화를 기록해 과도한 scaffolding의 간섭 가능성을 드러냈습니다.

기술 상세

핵심 최적화 대상은 hidden test 정확도 자체가 아니라 validation set에서 선택되는 scaffold입니다. 이상적인 scaffold는 숨겨진 T에서 accuracy가 가장 큰 S를 찾는 구조지만 builder는 T를 볼 수 없으므로, 실제 선택은 V에서 target model을 실행한 정확도에 의존합니다. 따라서 좋은 scaffold는 validation 예시를 암기하는 대신 benchmark subtype, 관찰·비관찰 신호, 질문 극성, 중첩 belief 구조처럼 hidden example에도 반복될 task regularity를 코드와 prompt 절차로 보존해야 합니다.

실행 흐름은 입력 x를 받는 것에서 시작해 subtype routing과 structured extraction을 거친 뒤, deterministic solver가 처리 가능한 경우에는 target model 호출 없이 답을 계산하고 그렇지 않은 경우에만 target model에 제한된 prompt를 보냅니다. target model의 출력은 answer-format enforcement와 parser를 통과해 benchmark가 요구하는 선택지로 변환됩니다. 이 구조에서 deterministic fraction은 전체 3900개 item 중 code 또는 structured rule만으로 답한 item의 비율이며, 그 값이 클수록 target model에 남는 cognitive load가 작아집니다.

Benchmark별 offloadability가 결과 차이를 만듭니다. BigToM의 평균 determinism fraction은 약 0.94로 높고, Hi-ToM은 약 0.51, MMToM-QA는 약 0.44, MuMA-ToM은 약 0.36으로 낮았습니다. 이에 따라 BigToM은 최고 scaffold에서 1.00에 가까운 정확도를 얻었지만, Hi-ToM은 recursion order 0의 0.999에서 order 4의 0.700으로 떨어졌고 MuMA-ToM은 social_goal과 belief_of_goal에서 오류가 남았습니다.

Technique attribution에서는 거의 모든 scaffold가 사용하는 format enforcement, routing, greedy decoding이 reliability floor를 만들고, 실행 간 차이는 polarity logic, belief-state structured extraction, hybrid fallback, deterministic solver 같은 task-specific 구조에서 커졌습니다. 최고 scaffold는 GPT-5.4-mini baseline의 오류 1717개를 고치고 기존 정답 105개를 깨뜨렸으며, paired McNemar test에서 p<10^-4였습니다. 서로 다른 상위 scaffold가 고친 baseline 오류의 합집합은 전체 baseline 오류의 97%를 덮어, 개별 scaffold들이 중복되지 않는 보완적 수정 경로도 갖는다는 결과를 얻었습니다.

남은 문제는 단순히 더 많은 validation query나 더 긴 target reasoning으로 해결되지 않았습니다. 높은 builder reasoning effort는 low에서 extra-high로 갈수록 scaffold code와 task logic을 늘리며 정확도를 높였지만, validation 횟수 자체는 최종 성능과 거의 연결되지 않았습니다. 따라서 구현 관점에서는 강한 builder에 충분한 deliberation budget을 주고, 반복 가능한 부분을 먼저 코드화한 뒤, 규칙화하기 어려운 깊은 belief recursion과 Bayesian goal inference만 target model에 남기는 구성이 핵심입니다.

실무 활용

이 방법은 target model을 재학습하지 않고도 반복 가능한 task structure를 inference-time harness에 저장해 작은 모델의 실행 정확도를 높이는 배포 방식입니다. 강한 builder가 초기 설계와 validation 수정을 담당하고, 실제 hidden 또는 운영 입력에서는 고정된 scaffold와 더 저렴한 target model이 처리 흐름을 실행합니다.

구조가 반복되는 분류·선택지 평가에서 입력 유형별 routing과 answer-format parser를 결합하는 작업
관찰 상태, belief state, polarity처럼 명시적 상태로 변환할 수 있는 추론을 deterministic code로 이전하는 작업
여러 독립 scaffold를 만들고 validation 성능이 높은 절차를 선택해 반복 실행 변동을 줄이는 작업
이미 강한 target model에서는 headroom이 남은 subtype에만 rule-based intervention을 적용하는 작업

코드 공개 여부: 미확인

키워드

strong-to-weak scaffolding(강한 모델에서 약한 모델로의 추론 시점 능력 이전)Inference-Time Harness(추론 시점 하니스)Theory of Mind(마음이론)Deterministic Offloading(결정론적 오프로딩)Benchmark Routing(벤치마크 라우팅)GPT-5.4-miniUserHarness

용어 해설

추론 시점 하니스(Inference-Time Harness): — 모델 가중치를 바꾸지 않고 추론 과정의 입력과 출력을 조정하는 외부 구조입니다. Prompt template, routing, memory, tool use, verification, answer-format enforcement를 결합해 모델이 문제를 처리하는 조건을 바꾸며, 같은 모델의 잠재 능력을 더 안정적으로 끌어내는 데 쓰입니다.
마음이론(Theory of Mind): — 다른 사람이 무엇을 알고 믿고 의도하는지 추론하는 능력입니다. ToM benchmark는 관찰 여부, 숨은 정보, 관점 전환, 중첩된 믿음, 목표 추론을 묻기 때문에 모델이 여러 정신 상태를 순서대로 추적해야 하며, 재귀 깊이가 높아질수록 난도가 커집니다.
결정론적 오프로딩(Deterministic Offloading): — 반복적이고 규칙화할 수 있는 추론을 target model 대신 코드나 명시적 규칙이 처리하도록 옮기는 방식입니다. 입력에서 관찰·비관찰 상태나 극성 정보를 추출하고 규칙을 실행해 답을 내므로, 약한 모델이 부담해야 할 상태 추적과 형식 변환 작업을 줄입니다.
벤치마크 라우팅(Benchmark Routing): — 입력의 문제 유형이나 benchmark subtype을 먼저 판별한 뒤 유형별 prompt, solver, fallback 경로로 보내는 방법입니다. 하나의 범용 지시문 대신 BigToM, Hi-ToM, MMToM-QA, MuMA-ToM의 구조에 맞는 처리 절차를 선택해 task-specific 오류를 줄입니다.
답변 형식 강제(Answer-Format Enforcement): — 모델의 자연어 출력에서 정답 선택지를 안정적으로 추출하고 제출 형식에 맞게 변환하는 절차입니다. 정답 내용이 맞더라도 형식이 어긋나면 오답이 되는 평가에서 parser와 출력 제약을 적용해 불필요한 형식 오류를 차단합니다.

강한 모델이 약한 모델용 하니스를 컴파일하는 법

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

소형 모델 추론을 세 단계로 고정한 Scaffold-CoT 데이터셋

작은 LLM의 추론을 코드 검증 단계로 나눈 실험

소형 모델용 구조화 CoT 데이터셋 Scaffold-CoT

LLM은 자신의 에이전트 하네스를 만들고 진화시킬 수 있는가

AI가 다른 AI의 코딩 성능을 개선하는가

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

소형 모델 추론을 세 단계로 고정한 Scaffold-CoT 데이터셋

작은 LLM의 추론을 코드 검증 단계로 나눈 실험

소형 모델용 구조화 CoT 데이터셋 Scaffold-CoT

LLM은 자신의 에이전트 하네스를 만들고 진화시킬 수 있는가

AI가 다른 AI의 코딩 성능을 개선하는가