50시간의 LLM 게임 마스터(GM) 실전 테스트: 모델별 성능 비교와 활용 팁

실용적 조언

30분마다 캠페인 요약을 생성하여 별도 문서에 백업할 것
성능 저하(응답 지연, 설정 오류) 발생 시 새 채팅 세션을 시작하고 요약을 주입할 것
주사위 판정은 사용자가 직접 수행하고 결과를 입력하여 게임의 긴장감을 유지할 것

섹션별 상세

작성자는 Gemini, Claude, ChatGPT, Grok 등 다양한 모델을 TRPG 시스템에 적용하여 성능을 측정했다. Gemini는 24회 정도의 대화 후 이전 프롬프트를 삭제하며 기억력 부재를 드러냈고, Claude Opus는 스토리텔링은 좋으나 응답 중단 현상이 잦았다. Grok Expert는 가장 깊은 캐릭터 페르소나와 긴 모듈 유지력을 보여주며 5점 만점을 기록했다.

LLM 기반 GM의 고질적인 문제로 문구 반복과 설정 붕괴 현상이 지목됐다. 특히 하위 모델인 ChatGPT Instant는 특정 문장을 반복하거나 대화가 길어지면 캐릭터의 이름과 능력을 잊어버리는 모습을 보였다. 이를 해결하기 위해 사용자는 30분마다 캠페인 요약을 생성하여 외부 문서에 기록하는 워크플로우를 도입했다.

대화 세션이 길어질 경우 응답 시간이 수 분 단위로 늘어나거나 모델이 기존 규칙을 무시하고 임의의 설정을 만드는 현상이 발생했다. 사용자는 게임 로그 문서를 만들어 핵심 규칙, 캐릭터 시트, 요약을 관리하며 성능 저하 시 새 대화창에 이를 주입해 연속성을 확보했다. 이러한 방식은 LLM의 컨텍스트 윈도우 한계를 극복하는 실무적인 해결책으로 제시됐다.

LLM은 플레이어의 의도에 따라 너무 쉽게 유리한 상황을 만들어주는 '파워 판타지' 경향이 있어 게임의 긴장감이 떨어질 수 있다. 지능이 낮은 캐릭터가 위협만으로 적을 아군으로 만드는 등 논리적 비약이 발생하기 쉬우므로 사용자가 직접 주사위를 굴리고 실패를 보고하는 엄격한 규칙 적용이 필요하다. 이는 AI를 활용한 롤플레잉에서 서사의 질을 유지하기 위한 핵심적인 사용자 개입 방식이다.

용어 해설

테이블탑 역할 수행 게임(TTRPG): — 테이블에 둘러앉아 대화와 주사위 판정을 통해 진행하는 역할 수행 게임이다. LLM은 여기서 게임의 규칙을 관리하고 서사를 이끄는 게임 마스터(GM) 역할을 수행하며, 혼자서도 풍부한 서사 경험을 가능하게 한다.
환각 현상(Hallucination): — AI가 학습 데이터에 없는 거짓 정보를 사실처럼 생성하는 현상이다. TRPG 맥락에서는 캐릭터 이름을 잊거나 존재하지 않는 규칙을 지어내는 식으로 나타나 게임의 몰입도를 해치는 주요 원인이 된다.
컨텍스트 윈도우(Context Window): — 모델이 한 번에 처리하고 기억할 수 있는 텍스트의 총량이다. 이 범위를 넘어서면 이전 대화 내용을 잊기 시작하므로, 긴 캠페인을 유지하기 위해서는 요약본을 통한 정보 압축과 세션 초기화가 필수적이다.

언급된 도구

Grok Expert추천

최상위 성능의 게임 마스터 역할 수행

ChatGPT Thinking추천

깊이 있는 스토리텔링 및 캐릭터 구현

Gemini비추천

캐릭터 생성 및 초기 게임 진행