LLM 에이전트의 장기 서사 약속 보존 평가

왜 중요한가

LLM은 유창한 서사를 만들면서도 앞서 확립한 사실을 뒤집거나 필수 플롯 사건을 건너뛰는 문제를 보입니다. NCP-Bench는 사실 원장, 서사 약속, 참조 궤적을 명시하고 매 턴 외부 감사 절차를 적용해 이런 논리적 실패를 수치화합니다. GPT-5.2도 20턴 뒤 생존율이 42%에 그쳤고 사실 충돌률은 모델별로 40%에서 68%까지 나타나, 언어 품질과 장기 상태 보존이 별개임을 보여줍니다.

핵심 기여

장기 서사 약속 보존 과제 정식화

대화형 서사의 핵심 문제를 자유로운 플레이어 입력 속에서 사실과 필수 플롯 조건을 유지하는 Narrative Commitment Preservation 과제로 정식화했습니다. 이야기 상태를 사실 원장, 약속 집합, 참조 궤적의 조합으로 표현하고, 각 응답이 이 구조와 양립하는지 검사합니다. 이를 통해 주관적 선호 평가만으로는 비교하기 어려운 논리적 일관성을 명시적 평가 대상으로 바꿉니다.

100개 영화 기반 NCP-Bench 구축

CMU Movie Summary Corpus의 영화와 등장인물 후보를 정제한 뒤 18개 장르를 포괄하는 100개 환경을 구성했습니다. 각 환경에는 플레이어 관점에서 관찰 가능한 초기 사실, 순서가 있는 주요 플롯 단계, 불변·순서·달성 유형의 서사 약속이 포함됩니다. 전문가가 생성된 명세를 검수하고 최종 결과 100개를 다시 확인해 평가에 영향을 줄 수 있는 모호성을 점검했습니다.

턴 단위 외부 감사 프로토콜 설계

내레이터가 생성한 응답과 평가 절차를 분리하고, 매 턴 사실 충돌·약속 충돌·플레이어 입력 충돌을 검사합니다. 충돌이 없을 때만 새 사실과 부정된 사실을 원장에 반영하고, 트리거와 핵심 변화가 함께 충족된 경우에만 궤적 진행도를 갱신합니다. 모든 달성 약속을 위반 없이 충족하면 성공으로 처리하고, 확인된 충돌은 해당 에피소드를 종료합니다.

현대 LLM의 장기 보존 한계 측정

여섯 개 LLM을 600개 실험 실행으로 평가한 결과 상호작용이 깊어질수록 생존율이 급격히 하락했습니다. GPT-5.2는 평균 32.92턴과 20턴 뒤 42% 생존율로 가장 오래 유지했지만, 100턴 안에 모든 달성 약속을 만족한 실행은 극히 드물었습니다. 사실 충돌이 40%에서 68%로 가장 빈번했고, 유창한 응답만으로는 세계 상태 보존을 보장하지 못했습니다.

핵심 아이디어 이해하기

대화형 서사에서 LLM은 매 턴 플레이어 행동에 반응하는 문장을 생성해야 하지만, 이전에 확립된 세계 상태와 앞으로 지켜야 할 플롯 조건도 함께 기억해야 합니다. 일반적인 다음 토큰 예측은 문장이 자연스러운지를 직접 반영할 뿐, 이미 잠긴 문을 통과하거나 아직 알 수 없는 범인을 미리 밝히는 논리적 모순을 명시적으로 벌점화하지 않습니다.

NCP는 이 문제를 암묵적 대화 기억이 아니라 구조화된 상태 관리 문제로 바꿉니다. 초기 사실 원장에는 플레이어가 처음부터 알 수 있는 사실만 넣고, 서사 약속에는 반드시 유지해야 하는 조건과 사건 순서를 기록하며, 참조 궤적에는 줄거리의 주요 단계를 순서대로 저장합니다. 내레이터 응답이 새 사실을 만들면 입력된 세계 상태와 약속을 먼저 대조하고, 충돌이 없을 때만 그 사실을 다음 상태에 반영합니다.

플레이어가 필수 사건을 건너뛰거나 과거를 바꾸려 해도 내레이터는 행동을 무시하지 않고 결과를 설명하면서 기존 제약을 지켜야 합니다. 감사기는 응답에서 사실 변경을 추출하고 궤적의 트리거와 핵심 변화가 완료됐는지 확인한 뒤 약속 상태를 Pending 또는 Satisfied로 갱신합니다. 따라서 성공은 매끄러운 문장 생성이 아니라 모순 없이 모든 달성 약속에 도달하는 과정으로 정의됩니다.

방법론

NCP-Bench는 CMU Movie Summary Corpus에서 영화와 플레이어 캐릭터 후보를 수집하고 중복, 이름 불일치, 불충분한 줄거리를 사람 검수로 제거했습니다. 이후 액션, Sci-Fi, Comedy, Western 등 다양한 서사 양식을 포함하도록 100개 영화를 선택하고, 각 영화에 주 장르와 부 장르 태그를 부여했습니다. 플레이어 역할의 시점에서 알 수 있는 정보만 초기 명세에 넣어 미래 사건이 초기 상태로 새어 들어가지 않게 했습니다.

각 환경은 초기 사실 원장 F₀, 고정된 약속 집합 C, 순서가 있는 참조 궤적 R로 구성됩니다. 궤적 노드는 사건, 사건을 시작하는 관찰 가능한 트리거, 사건 이후의 지속적인 상태 변화인 핵심 델타를 보유하며, 약속은 계속 참이어야 하는 불변 조건, 사건 순서를 강제하는 ordering 조건, 최종적으로 충족해야 하는 achievement 조건으로 나뉩니다. 상호작용이 진행되면 응답에서 새 사실과 무효화된 사실을 추출하고, 활성 원장과 궤적 진행도, 약속 상태를 함께 갱신합니다.

평가 루프는 충돌 검사, 사실 갱신, 궤적 노드 갱신, 약속 검사 순서로 작동합니다. 충돌 검사는 활성 사실과의 모순, 약속 위반, 플레이어 행동 무시를 확인하며, 잠정 충돌은 2차 확인을 거친 뒤 종료에 사용합니다. 적대적 플레이어 에이전트는 숨은 사실과 미래 궤적을 보지 않고 현재 대화 이력만 사용해 한 턴에 하나의 1인칭 행동을 생성하므로, 실제 플레이어가 알 수 없는 정보를 이용한 평가를 막습니다.

여섯 개 내레이터 LLM에는 temperature 0.6, top-p 0.95, 최대 생성 길이 8092 토큰을 동일하게 적용했습니다. 출력 검증에 실패하면 같은 입력으로 해당 호출만 최대 두 번 재시도하고, 세 번 모두 실패하면 실행을 무효 종료합니다. 충돌 없이 100턴에 도달하면 Survival, 모든 달성 약속을 충족하면 Success, 논리 충돌이나 약속 위반이 확인되면 Conflict로 종료합니다.

주요 결과

600개 실행에서 대부분 모델의 생존율은 상호작용이 100턴에 가까워지기 전에 거의 0으로 떨어졌습니다. 100턴까지 명시적 충돌 없이 남은 실행은 전체의 3.5%뿐이었고, 그 생존자도 대부분 모든 서사 약속을 충족하지 못했습니다. GPT-5.2는 20턴 뒤 생존율 42%와 평균 32.92턴으로 가장 오래 유지했지만, DeepSeek-V3.2는 평균 15.88턴에 그치면서도 궤적 진행도 15.40%와 약속 충족률 13.42%로 가장 높았습니다.

사실 충돌은 모델별 40%에서 68%로 가장 흔한 실패 유형이었습니다. GPT-5.2는 사실 충돌 40%, 약속 충돌 24%로 두 항목에서 가장 낮았고, Qwen3-235B-A22B는 사실 충돌 68%, Kimi-K2.5는 약속 충돌 54%를 기록했습니다. 이 결과는 오래 버티는 보수적 응답과 플롯을 빠르게 진행하는 응답이 서로 다른 실패 양상을 가질 수 있음을 보여줍니다.

HiAgent를 GPT-4o-mini와 비교하면 평균 상호작용 길이는 22.16턴에서 30.05턴으로 늘고 약속 충돌은 26%에서 4%로 줄었습니다. 그러나 모든 달성 약속을 만족한 실행은 2개에서 0개로 감소했고 플레이어 입력 충돌은 13%에서 38%로 증가했습니다. 계층형 메모리가 플롯 의무 추적에는 도움을 줬지만, 구체적인 플레이어 행동을 압축하면서 국소적 의도를 놓쳤을 가능성이 결과에 드러납니다.

자연스러운 플레이어 입력에서는 평균 길이가 22.16턴에서 46.08턴으로 늘고 100턴 도달 실행이 3개에서 19개로 증가했습니다. 사실 충돌은 60%에서 56%, 약속 충돌은 26%에서 9%로 줄었지만 플레이어 입력 충돌은 13%에서 18%로 높아졌고, 모든 달성 약속을 만족한 실행은 2개에서 0개로 감소했습니다. 따라서 적대적 개입이 난도를 높이지만 장기 약속 보존의 근본적 어려움 전체를 만들지는 않습니다.

기술 상세

NCP의 상태는 $s_t=(F_t,i_t,C,\mathcal{R})$ 로 표현됩니다. 여기서 $F_t$ 는 현재 활성 세계 사실을 기록하는 원장, $i_t$ 는 참조 궤적에서의 진행 위치, $C$ 는 고정된 서사 약속 집합, $\mathcal{R}$ 은 순서가 있는 플롯 노드 목록입니다. 플레이어 행동 $u_t$ 와 내레이터 응답 $y_t$ 가 입력으로 들어오면 감사기가 응답의 사실 변경을 추출하고 충돌 여부를 판정한 뒤 다음 상태 $s_{t+1}$ 을 만듭니다.

참조 궤적은 $\mathcal{R}=(r_0,r_1,\ldots,r_{N_{\mathcal{R}}-1})$ 로 구성되며 각 노드는 트리거 사건과 핵심 델타를 가집니다. 최신 응답에서 두 요소가 모두 명시적으로 완료된 경우에만 $i_t$ 가 다음 노드로 이동하고, 애매한 응답은 진행시키지 않습니다. 약속은 불변 조건, ordering 조건, achievement 조건으로 구분하며, 앞의 두 유형은 위반을 검사하고 achievement는 만족 여부를 누적합니다.

사실 갱신은 응답에서 새로 참이 된 사실을 추가하고 더 이상 유효하지 않은 사실을 부정 상태로 표시하는 방식으로 진행됩니다. 부정된 사실은 추적성을 위해 남지만 이후 의사결정과 감사에 사용하는 활성 상태에서는 제외됩니다. 충돌이 확인되면 후보 갱신을 폐기하고 실행을 종료하므로, 모순된 응답이 다음 턴의 세계 상태를 오염시키는 것을 막습니다.

평가 모델과 감사 모델을 분리한 점도 핵심 구현 요소입니다. 내레이터는 자유 형식 서사를 생성하지만, 고정 프롬프트와 구조화된 출력을 사용하는 감사기가 사실·약속·플레이어 입력 충돌, 사실 원장 변경, 궤적 진행, 약속 상태를 독립적으로 처리합니다. 감사기 민감도 실험에서 사실 충돌률은 60%, 64%, 67%, 약속 충돌률은 26%, 32%, 41%로 나타났고, 감사기 쌍의 Pearson 상관은 0.9628에서 0.9866 사이였습니다.

실패 유형은 사실 환각과 모순, 아직 알 수 없는 사실의 조기 공개, 플레이어가 완료한 행동의 강제 삭제, 플레이어 입력 무시로 나뉩니다. 이 오류들은 단순한 문장 품질 문제가 아니라 대화 이력에서 세계 상태를 매번 암묵적으로 복원해야 하는 구조, next-token prediction이 논리 모순을 직접 벌점화하지 않는 학습 목표, 상충하는 사용자 주장에 지나치게 순응하는 경향에서 비롯됩니다. 논문은 선형·시간순 서사와 특정 적대적 플레이어 전략에 한정된다는 점, 모호한 텍스트에서 LLM 감사기가 오류를 낼 수 있다는 점을 명시적 한계로 둡니다.

한계점

논문은 모호한 텍스트에서 LLM 감사기가 완벽하지 않을 수 있고, 동일한 decoding 설정에서도 제공자 측 비결정성 때문에 생성 결과가 정확히 재현되지 않을 수 있다고 명시합니다. 현재 평가 구조는 단일 스레드의 시간순 서사에 맞춰져 있어 분기 시간선, 플래시백, 병렬 관점처럼 시간 범위와 조건부 유효성이 필요한 구조는 다루지 않습니다. 또한 하나의 적대적 플레이어 전략을 사용하므로 실제 사용자의 다른 개입 방식에서 추가 실패 유형이나 더 나은 성능이 나타날 가능성은 남아 있습니다.

실무 활용

NCP-Bench는 여러 턴에 걸쳐 사실, 의무, 순서 제약을 유지해야 하는 에이전트를 외부 감사 절차로 비교하는 데 활용할 수 있습니다. 논문은 데이터, 코드, 프롬프트 템플릿을 공개하므로 동일한 상태 표현과 충돌 분류를 재현하거나 다른 도메인에 맞게 확장할 근거를 제공합니다.

게임용 Game Master와 인터랙티브 스토리텔링 내레이터의 장기 세계 상태 보존 평가
Coding agent가 새 요청을 처리하면서 기존 동작, 인터페이스 계약, 테스트 조건을 유지하는지 점검
교육 시뮬레이션에서 학습자 행동을 반영하면서 사전에 정한 사건과 제약을 지키는지 평가
Tool-using assistant와 다중 에이전트 시스템의 장기 의무 및 상태 추적 능력 비교

코드 공개 여부: 공개

코드 저장소 보기

키워드

Narrative Commitment Preservation(서사 약속 보존)NCP-Bench(대화형 서사 벤치마크)interactive narrative(대화형 서사)trajectory(서사 궤적)commitments(서사 약속)initial facts(초기 사실)adversarial interventions(적대적 개입)survival rate(생존율)fact conflict rates(사실 충돌률)achievement commitments(달성 약속)

용어 해설

서사 약속 보존(Narrative Commitment Preservation): — 대화형 서사에서 에이전트가 이미 확립한 사실과 필수 플롯 조건을 긴 상호작용 동안 유지하는 능력입니다. 현재 상태를 기록한 사실 원장과 변하지 않는 서사 약속을 사용해 새 응답의 모순 여부와 목표 달성 가능성을 매 턴 점검합니다. 자유로운 사용자 개입에도 과거 사건을 임의로 다시 쓰지 않는지가 핵심입니다.
사실 원장(Fact Ledger): — 이야기 세계에서 현재 참인 사실과 더 이상 유효하지 않은 사실을 추적하는 구조화된 기록입니다. 내레이터 응답에서 새 사실과 부정된 사실을 추출하고, 충돌 검사를 통과한 변경만 활성 상태에 반영합니다. 부정된 기록도 추적성을 위해 보존하므로 시점별 세계 상태를 감사할 수 있습니다.
참조 궤적(Reference Trajectory): — 영화 줄거리에서 추출한 주요 사건을 순서대로 배열한 플롯 진행 기록입니다. 각 노드는 사건의 내용과 이를 시작하는 트리거, 사건 뒤에 남는 상태 변화를 함께 보유합니다. 내레이터 응답에서 트리거와 핵심 변화가 모두 확인될 때만 다음 노드로 진행합니다.
적대적 개입(Adversarial Intervention): — 사용자가 이미 정해진 사실이나 플롯 순서를 우회하거나 뒤집으려는 자유 형식 행동입니다. 예를 들어 아직 확보하지 않은 열쇠를 예전에 가져왔다고 말하거나 필수 사건을 건너뛰고 결말로 이동하려고 시도합니다. NCP-Bench는 이런 입력에 대한 내레이터의 사실 보존과 대응 능력을 압박합니다.
장기 일관성(Long-Horizon Consistency): — 여러 차례의 상호작용이 이어져도 대화 이력, 세계 상태, 플롯 제약이 서로 충돌하지 않는 성질입니다. 한 턴의 자연스러운 문장 생성만으로는 보장되지 않으며, 누적된 사실과 미완료 약속을 계속 갱신하고 검사해야 합니다. 이 논문은 100턴까지의 서사 상호작용에서 이 성질을 측정합니다.

LLM 에이전트의 장기 서사 약속 보존 평가

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

LLM 64% 신뢰도 수치를 200문항으로 재검증한 벤치마크

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

LLM 64% 신뢰도 수치를 200문항으로 재검증한 벤치마크