다중 턴 도구 호출 에이전트의 다이아몬드 위상 인식 자기 증류

왜 중요한가

기존 Behavior Cloning과 SFT는 전체 궤적에 동일한 손실을 적용해 Student가 이미 올바르게 수행한 탐색까지 Teacher 경로로 덮어쓴다. DART-SD는 순서가 다른 유효 경로가 합쳐지는 실행 구조를 ISTG로 보존하고, 실패가 시작된 CTB 이후에만 교정 손실을 적용해 도구 사용 능력과 경로 다양성을 함께 유지한다. Qwen3-8B에서 다섯 벤치마크 평균 45.58을 기록해 표준 SFT의 41.64와 여러 RL 기준선을 웃돌았다.

핵심 기여

누적 정보 상태 기반 ISTG 구성

성공·실패 Teacher Rollout을 누적 정보 원자와 불필요한 작업 수로 표현하는 ISTG에 통합한다. 순서가 다른 정보 획득 경로가 같은 main state에서 재결합하고, 불필요한 탐색은 auxiliary node로 남아 실행 깊이와 매칭 정보를 보존한다.

성공 가능 영역과 CTB 정의

성공 Teacher 경로에서 성공 terminal까지 남은 전이 수를 기준으로 도달 가능 영역을 제한한 뒤 Student 상태를 유형별로 투영한다. 투영 가능한 상태에서 처음 벗어나는 지점을 CTB로 정해 마지막 유효 Teacher anchor를 recovery 참조의 출발점으로 사용한다.

CTB 이후에만 적용하는 국소 감독

Student prefix와 privileged Teacher reference를 AugGen에 입력해 CTB 이후의 recovery continuation을 생성한다. 손실 mask는 CTB 이후 assistant response token에만 1을 부여하고, 기존 prefix·user message·tool observation·final answer에는 손실을 적용하지 않는다.

반복형 자기 증류와 능력 경계 확장

현재 Student가 새 Rollout을 생성할 때마다 CTB를 다시 찾고 국소 SFT를 수행하는 과정을 다섯 차례 반복한다. 반복이 진행될수록 유효하게 유지되는 prefix가 길어지고, 더 복잡한 도구 사용 구간으로 감독 위치가 이동한다.

핵심 아이디어 이해하기

일반적인 Autoregressive LLM은 이전 도구 호출과 응답을 순서대로 읽으며 다음 action을 생성한다. 기존 SFT가 한 개의 성공 궤적을 정답으로 간주하면, 여러 독립 하위 목표를 다른 순서로 처리한 경로도 정답 궤적과 다르다는 이유로 전체 token에 불이익을 받는다. 실제로는 각 경로가 서로 다른 중간 상태를 거쳐 동일한 누적 정보에 도달할 수 있어, 실행 공간이 갈라졌다가 합쳐지는 다이아몬드 구조를 이룬다.

DART-SD는 도구 응답에서 과제에 유용한 사실을 정보 원자로 정규화한다. 같은 사실을 자유 형식 텍스트나 구조화된 기록으로 얻어도 하나의 원자로 묶고, 상태·빈 값·placeholder·오류처럼 유용한 내용이 없는 응답은 정보 증가를 만들지 않는다. 이 누적 정보 집합과 최근 main node 이후의 불필요한 작업 수를 함께 기록하면, 호출 순서가 달라도 같은 정보 상태에 도착한 경로를 하나의 그래프 구조로 연결할 수 있다.

Student가 실행을 이어가면 각 상태가 성공 Teacher 경로의 도달 가능 영역에 속하는지 판정한다. 정보 원자 집합이 유효한 Teacher main node의 정보 집합을 포함하면 main 상태를 투영하고, auxiliary 상태는 가장 많은 정보를 가진 부모 main node와 불필요한 작업 수를 기준으로 대응시킨다. 처음으로 대응 가능한 상태가 사라지는 전환이 CTB이며, 이 앞부분은 이미 작동하는 reasoning prefix로 간주하고 뒤의 recovery만 다시 생성한다.

국소 감독은 전체 궤적을 복사하지 않고, 보존한 Student prefix와 성공·실패 Teacher 참조를 AugGen에 넣어 CTB 이후 continuation을 만든다. 학습 시에는 생성된 recovery assistant token만 causal language modeling 손실에 포함하므로, 이미 맞는 prefix에 destructive gradient가 흐르지 않는다. 이 절차를 반복하면 CTB가 더 뒤로 이동하고 Student가 더 긴 유효 도구 호출 prefix를 스스로 유지하게 된다.

방법론

먼저 각 과제의 Tool Response를 정규화하고, 실제로 사용할 수 있는 사실을 task-specific information atom으로 묶는다. 같은 의미의 응답은 같은 atom을 공유하며, 정보가 없는 응답은 빈 집합으로 처리한다. 각 시점의 누적 정보 집합에 새 atom이 추가되면 main node가 되고, 정보 변화 없이 불필요한 호출만 이어지면 최근 main node에 붙는 auxiliary node가 된다.

성공·실패 Teacher Rollout을 공통 root와 terminal을 가진 directed multigraph로 합친다. Vertex는 누적 정보 집합과 최근 useless operation의 multiset으로 구성되고 edge는 단일 도구 호출 또는 concurrent call bundle이다. 성공 경로에서 terminal까지 남은 전이가 task budget 이하인 node만 empirical success-reachable region에 포함하므로, 성공 경로에 등장하더라도 너무 먼 상태는 recovery anchor로 사용하지 않는다.

Student Rollout도 동일한 상태 갱신 규칙으로 재생해 Teacher 그래프에 투영한다. Student main node는 자신의 누적 정보가 reachable Teacher main node의 정보 집합을 포함하는지 비교하고, auxiliary node는 가장 많은 정보를 가진 부모 main node와 그 뒤의 useless operation 개수를 비교한다. 이 대응 집합이 비어지는 첫 전환을 CTB로 선택하며, Rollout이 끝까지 투영되지만 실패한 경우에는 terminal과 마지막 유효 projection을 경계로 삼는다.

CTB 직전까지의 Student prefix, 과제, 성공·실패 Teacher reference를 AugGen에 넣어 recovery continuation을 생성한다. 생성된 sequence를 token 단위로 나눈 뒤 CTB 이후 최종 답변 이전의 assistant response step에만 mask를 켠다. 따라서 prefix, user message, tool observation, final-answer step은 손실 계산에서 제외되고, recovery 단계의 정답 확률을 높이는 방향으로만 Student가 갱신된다.

이 국소 SFT를 한 번으로 끝내지 않고 현재 Student checkpoint로 새 Rollout을 생성해 반복한다. 실험에서는 2,215개 FTRL task마다 iteration당 8개 trajectory를 temperature 0.7, 최대 4,096 token, 최대 9 interaction turn으로 생성하고, learning rate 5 × 10⁻⁷와 batch size 32로 한 epoch씩 학습했다. 각 augmented context에는 positive reference 2개와 negative reference 1개가 포함되며, 총 5회의 CTB-guided localized SFT를 수행했다.

주요 결과

Qwen3-4B에서 DART-SD는 FTRL Solve-P 36.70, Solve-R 48.16, Solve-F1 39.77을 기록했고 다섯 벤치마크 평균은 39.17이었다. Qwen3-8B에서는 각각 42.00, 54.13, 45.66, 평균 45.58을 기록했다. Qwen3-8B 기준 평균은 Base 29.60, SFT 41.64, FTRL-GRPO 40.33, ToolRL 39.94, MatchTIR(KM) 38.31보다 높았다.

추론과 학습에 thinking을 켠 조건에서도 DART-SD는 FTRL Solve-F1 41.03, BFCL Multi-Turn 49.75, ToolHop Answer Correctness 46.43으로 세 벤치마크 모두에서 비교 방법보다 높은 점수를 기록했다. 일반 능력 평가에서는 IFEval 45.29, AIME24 50.00, AIME25 30.00, MMLU 74.27을 얻어 평균 49.89를 기록했으며, Qwen3-8B의 43.92와 SFT의 44.18보다 높았다.

FTRL에서 성공 trajectory의 평균 tool-call 수는 Iter1의 4.23에서 Iter5의 3.55로 줄었고, golden reference의 4.02보다도 짧아졌다. 동시에 Solve-F1은 Iter1의 40.37에서 Iter5의 45.66으로 상승했다. 이는 성능을 높이는 과정에서 더 긴 탐색을 추가하기보다 redundant tool call을 줄이는 방향으로 경로가 바뀌었음을 나타낸다.

실패 trajectory의 평균 CTB position은 Iter1의 0.348에서 Iter5의 1.452로 이동했다. CTB가 뒤로 이동했다는 것은 Student가 첫 실패 전까지 더 긴 prefix를 성공 가능 영역 안에서 수행했다는 뜻이며, Multi task는 0.500에서 1.953, Para-Multi task는 0.395에서 1.816으로 증가했다. 구성요소 제거 실험에서도 Qwen3-8B의 Solve-F1 23.48이 SD 적용 후 38.10, CTB 추가 후 39.51, Progressive SFT 후 43.93, ISTG 포함 후 45.66으로 단계적으로 높아졌다.

기술 상세

ISTG의 핵심 상태는 누적 정보 집합과 최근 main node 이후의 useless operation 기록으로 구성된다. 도구 호출 묶음에서 새롭게 얻은 정보 atom만 누적 집합에 추가하며, 한 개의 실질적 값이라도 남은 응답은 informative로 취급하고 status signal·빈 값·placeholder만 있는 응답은 정보 증가 없이 접는다. 이 규칙으로 동일 사실을 반환하는 서로 다른 도구와 표현이 같은 main information state로 합쳐진다.

성공 가능 영역은 root에서의 단순한 전방 깊이가 아니라 각 성공 경로에서 success terminal까지 남은 전이 수를 기준으로 만든다. 최단 성공 깊이에 task allowance를 더하되 budget cap을 넘지 않게 하고, 이 범위 안의 성공 Teacher main·auxiliary node만 anchor 후보로 남긴다. Student main node는 자신의 정보 집합이 anchor의 정보 집합을 포함하는지 확인하고, auxiliary node는 대응 부모 main node와 useless operation 개수가 같은지 확인하므로 호출 문자열의 완전 일치를 요구하지 않는다.

CTB 이후 생성되는 sequence에서 실제 학습 대상은 recovery assistant response step이다. retained Student prefix와 user message, tool observation, final-answer step의 token mask는 0이고, CTB 이후 final answer 전의 assistant token mask만 1이다. 따라서 causal language modeling은 앞선 올바른 행동을 다시 쓰지 않고, 현재 Student가 처음 벗어난 뒤 성공 경로로 복귀하는 continuation의 조건부 확률을 높이는 데 집중한다.

Teacher reference는 Student prefix에 그대로 이어 붙이지 않는다. 두 궤적의 도구 호출과 observation이 다를 수 있기 때문에, 과제·CTB 이전 Student prefix·privileged reference를 AugGen에 별도 입력하고 그 결과를 학습 sequence의 recovery suffix로 사용한다. 이 구조가 action-wise correspondence 없이도 누적 정보 상태와 recovery 행동을 연결한다.

구현은 Qwen3-4B와 Qwen3-8B Student, Qwen3.6-27B와 GLM-5.2가 섞인 Teacher trajectory를 사용했다. FTRL의 2,215개 task에서 iteration당 task별 8개 Rollout을 생성하고, 최대 9 turn과 4,096 token 제한 아래 다섯 번 반복했다. 각 context에 positive reference 2개와 negative reference 1개를 넣었으며, 실험은 no-thinking 설정을 기본으로 비교하고 별도로 thinking 설정의 결과도 측정했다.

실무 활용

DART-SD는 여러 도구를 순차적으로 호출하는 Agent의 Fine-tuning에서 전체 Teacher trajectory를 그대로 복사하지 않고, 실패가 시작된 구간만 재학습하는 절차다. 논문은 FTRL 학습 데이터와 다섯 차례의 반복 SFT를 사용했으므로, 동일하게 성공·실패 Rollout과 검증 가능한 도구 실행 결과를 확보할 수 있는 환경에서 적용 근거가 있다.

독립 하위 질문을 여러 순서로 처리하는 다중 턴 API orchestration Agent의 학습
실패 trajectory에서 유효한 prefix를 유지하면서 잘못된 도구 선택 이후 recovery 행동을 교정하는 SFT
불필요한 도구 호출을 줄여야 하는 장기 실행형 Tool-Use Agent의 경로 최적화
Teacher Agent의 성공·실패 실행 기록을 ISTG로 통합해 소형 Student 모델로 증류하는 학습 파이프라인

코드 공개 여부: 비공개

키워드

DART-SD(다이아몬드 위상 인식 검색·튜닝)ISTG(상호작용 상태 전이 그래프)CTB(핵심 위상적 분기점)Multi-Turn Tool-Calling(다중 턴 도구 호출)Self-Distillation(자기 증류)Localized Supervision(국소 감독)Qwen3(언어 모델 계열)

용어 해설

다중 턴 도구 호출(Multi-Turn Tool-Calling): — LLM이 한 번의 답변으로 끝내지 않고 외부 도구를 여러 차례 호출하면서 작업을 수행하는 방식이다. 각 호출의 결과를 다음 호출의 입력으로 사용하므로, 긴 실행 과정에서 어느 단계가 유효했고 어디서 오류가 시작됐는지 구분하는 학습 신호가 중요하다.
상호작용 상태 전이 그래프(Interaction-State Transition Graph): — 도구 호출 자체가 아니라 누적된 정보 원자와 불필요한 작업 수로 실행 상태를 표현하는 방향성 그래프다. 성공·실패 Teacher Rollout을 하나의 그래프에 합쳐 서로 다른 호출 순서가 같은 정보 상태로 다시 만나는 구조를 보존한다.
핵심 위상적 분기점(Critical Topological Breakpoint): — Student Rollout이 성공 가능한 Teacher 상태 영역에서 처음 벗어나는 전환 지점이다. 이 지점 이전의 유효한 prefix는 유지하고, 이후에 필요한 recovery continuation만 Teacher 참조로 생성해 학습 손실을 적용한다.
자기 증류(Self-Distillation): — 현재 Student가 직접 생성한 실행 궤적을 다시 학습 자료로 삼아 자신의 정책을 점진적으로 개선하는 방식이다. DART-SD는 실패 궤적에서 CTB를 찾고 성공 Teacher 참조를 결합한 뒤, 여러 차례 Rollout과 국소 교정을 반복한다.
다이아몬드 위상(Diamond Topology): — 순서와 무관한 여러 하위 목표를 서로 다른 순서로 해결할 때 나타나는 실행 구조다. 경로가 갈라졌다가 동일한 누적 정보 상태에서 다시 합쳐지므로, 하나의 정답 궤적만 강제하면 유효한 대안 경로가 오류처럼 취급되는 문제가 생긴다.

다중 턴 도구 호출 에이전트의 다이아몬드 위상 인식 자기 증류

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

다수결로 정답을 만드는 비지도 Self-Distillation

기업 환경을 위한 지속적 학습과 모델 증류 방법론.

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

다수결로 정답을 만드는 비지도 Self-Distillation

기업 환경을 위한 지속적 학습과 모델 증류 방법론.