LLM 오류 복구에는 후속 턴 무효화가 필요하다

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

LLM 대화에서 오류가 발생한 원본 턴만 삭제하면 그 값을 반복하거나 계산한 후속 턴이 직렬화된 컨텍스트에 남아 답변 오류가 지속될 수 있다. 9개 합성 과제군과 540개 조건을 사용한 파일럿에서 Clean에서는 맞고 오염 후에는 틀린 72개 사례를 비교한 결과, 원본만 삭제했을 때 68/72, 후속 턴 재계산까지 했을 때 71/72, 오염된 하위 그래프까지 제거했을 때 72/72가 복구됐다. 결과는 컨텍스트 관리가 원본 수정뿐 아니라 의존성 기반 무효화와 재생성을 지원해야 함을 시사하지만, 합성 산술 과제와 비정규화된 모델 설정이라는 한계가 남아 있다.

실용적 조언

대화 편집 기능은 수정된 원본 메시지만 저장하지 말고 그 메시지에 의존하는 후속 턴을 stale 상태로 표시해야 한다. 영향 범위를 계산할 수 있으면 오염된 하위 그래프를 함께 제외한 뒤 최종 질문에 전달되는 직렬화 문맥을 다시 구성해야 한다. 후속 답변을 유지할지 재생성할지는 사용자가 선택하도록 분리할 수 있다.
오류 복구 실험에서는 Clean에서 정답이고 Polluted에서 오답인 쌍만 별도 지표로 집계해야 한다. 이렇게 해야 원래부터 틀린 사례와 오염 때문에 새로 틀린 사례가 섞이지 않으며, 게시물의 72개 paired derailed cases처럼 실제 복구 대상의 규모를 확인할 수 있다.
후속 벤치마크는 동일한 정보량을 유지한 중립 문맥을 추가하고, 모델·런타임·양자화 설정을 기록해야 한다. 모델이 생성한 오류를 평가할 때는 원본 입력과 중간 결과를 고정해 replay를 재현 가능하게 만들고, 오류가 몇 단계 뒤까지 유지되는지 전파 깊이별로 측정해야 한다.

섹션별 상세

작성자는 LLM 대화의 오류 복구를 숨은 추론을 되돌리는 문제가 아니라 컨텍스트 그래프를 관리하는 문제로 규정했다. 잘못된 원본 메시지를 수정하거나 삭제해도 이후 턴이 그 값을 반복하거나 계산에 사용했다면 오염된 정보가 직렬화된 메시지에 계속 남는다. 따라서 원본 증거의 제거와 그 증거에서 파생된 텍스트의 복구를 별도 연산으로 취급해야 한다는 입장이다.

실험은 객관적으로 채점할 수 있는 9개 합성 과제군을 전파 깊이 1, 2, 3으로 확장하고, 동일한 최종 질문을 Clean, Polluted, Source prune, Subgraph prune, Recompute의 다섯 조건에 넣는 방식으로 구성됐다. 예시에서는 상자 4개와 상자당 부품 30개, 낱개 11개에서 검증된 값 24개로 교정한 뒤, 잘못 복원된 30이 후속 계산 120과 131 및 현재 상태 요약으로 이어졌다. 첫 네 조건에서는 오염된 후속 턴을 모델별로 고정하고 Recompute 조건에서만 중간 추론을 새로 생성해 개입 효과를 분리했다.

온도 0으로 네 모델 엔드포인트에서 540개 조건을 수집했고 캡처 실패는 없었다. Clean에서는 맞고 오염 후에는 틀린 72개 쌍만 복구 지표에 포함했으며, 원본만 삭제했을 때 68/72, 원본 삭제 후 후속 턴을 재생성했을 때 71/72, 오염된 하위 그래프까지 제거했을 때 72/72가 복구됐다. 대표 사례에서 Gemma 4 26B와 GPT-OSS 20B가 원본 오류를 지운 뒤에도 131을 답한 이유는 모델의 숨은 기억이 아니라 직렬화된 후속 턴에 30이 명시적으로 남아 있었기 때문이다.

게시물은 컨텍스트 관리 시스템에 하위 턴의 stale 상태를 표시하거나 영향받은 하위 그래프를 제거하고, 의존성 순서대로 후속 턴을 재생성하는 무효화 기능이 필요할 수 있다고 제안했다. 이런 설계는 최종 질문을 바꾸지 않고도 어떤 이전 메시지가 현재 답변의 입력으로 남는지 조절한다. 다만 과제가 결정적 산술 상태에 집중돼 있어 실제 대화의 암묵적 정보 대체와 모델이 스스로 만든 오류에 같은 결과가 적용되는지는 아직 확인되지 않았다.

실험의 한계로 합성 과제, 단일 샘플링, 모델별 제공업체 기본 추론 설정의 비정규화가 명시됐다. 작성자는 추가로 문맥 길이를 맞춘 중립 대조군을 두어 의미 충돌과 추가 문맥의 효과를 분리하고, 런타임과 양자화 설정을 모두 기록한 로컬 모델 트랙을 만들며, 암묵적 supersession과 모델 생성 오류를 포함한 과제군을 검토하고 있다. 특히 모델이 만든 오류를 재현 가능한 replay로 평가하면서도 전파 깊이를 독립 변수로 볼 수 있는지가 후속 방법론의 핵심 쟁점이다.

용어 해설

컨텍스트 오염(Context Pollution): — 모델에 전달되는 직렬화된 메시지에 부정확하거나 오래된 정보가 포함된 상태이다. 이후 대화가 이 정보를 반복하거나 계산의 입력으로 사용하면 오류가 후속 턴으로 전파되며, 원본 메시지만 고쳐도 오염된 결과가 남을 수 있다.
전파 깊이(Propagation Depth): — 오염된 정보가 후속 대화에서 몇 단계에 걸쳐 반복되거나 새로운 주장으로 변환됐는지를 나타내는 실험 변수이다. 이 파일럿은 각 과제군을 깊이 1, 2, 3으로 구성해 오류가 누적되는 양상을 비교했다.
컨텍스트 개입(Context Intervention): — 최종 질문은 유지한 채 다음 요청에 들어갈 이전 턴의 그래프를 수정하는 조작이다. 원본 오류만 삭제하는 방식, 오염된 하위 그래프까지 제거하는 방식, 후속 추론을 의존성 순서대로 다시 생성하는 방식이 서로 다른 개입으로 비교됐다.
의존성 순서(Dependency Order): — 후속 결과가 참조하는 원천 정보부터 먼저 복구한 뒤 그 결과에 의존하는 하위 턴을 차례로 다시 생성하는 처리 순서이다. 이 순서를 따르면 삭제된 오류의 파생 결과를 그대로 보존하지 않고 대화 상태를 재계산할 수 있다.
합성 과제(Synthetic Task): — 실험자가 정답을 객관적으로 채점할 수 있도록 인공적으로 구성한 과제이다. 이 파일럿은 9개 과제군에 전파 깊이 1, 2, 3을 적용했지만, 실제 대화에서 발생하는 암묵적 정보 갱신이나 모델 생성 오류까지 포괄하지는 않는다.

언급된 도구

ThoughtDAG중립링크

대화 턴 간 의존성을 그래프로 표현하고 컨텍스트 개입을 구현하는 오픈소스 그래프 인터페이스

언급된 리소스

논문Context Repair Pilot v1

GitHubThoughtDAG benchmark