동일 소스 비교 실험에서 드러난 Claude Fable 5, GPT-5.6 Sol, Kimi K3의 기사 작성·차트 행태

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

동일한 소스와 바이트 동일 프롬프트로 여섯 건의 데이터 중심 기사 작성을 비교한 실험에서 Claude Fable 5는 맥락 복구와 편집적 가치가 가장 높았으나 600단어 상한을 다수 초과했고 GPT-5.6 Sol은 형식과 길이 준수에서 완벽했으나 서술이 평탄했고 문자열 레이블 오류가 한 건 발견되었다. Kimi K3는 소스에서 가능한 많은 수치를 회수해 별도 벤치에서 83% 추출 재현율을 달성했지만 추론 단계에서 완성 예산을 과도하게 소모하여 토큰 예산과 bounded reasoning 제어가 필요했다. 총 218개의 숫자형 차트 값을 소스와 대조해 위조는 발견되지 않았으나 문자열 필드 레이블 검수는 추가 감사가 요구되었고 차트 보카블러리를 열거나 닫는 정책이 시각화 선택과 편집 결과에 결정적 영향을 미쳤다.

실용적 조언

Fable을 배포할 경우 품질 중심의 편집을 유지하면서 길이 초과를 방지하려면 600단어 상한처럼 하드 컷을 적용하거나 모델 출력 후 자동 요약·트리밍 파이프라인을 두어 맥락 손실을 최소화하면서 배포 규격을 맞추는 것이 필요하다. 이때 중요한 수치와 방법론적 근거는 별도 주석 필드로 보존하여 트리밍 시 원본 출처의 연결성이 유지되도록 설계해야 한다. 또한 길이 제약을 우회해 맥락을 보존하려는 시도를 막기 위해 출력 토큰 수와 reasoning 토큰 소비를 모니터링하는 지표를 운영 대시보드에 포함해야 한다.
Sol처럼 형식 준수가 핵심인 환경에서는 명시적 포맷 템플릿과 소스별 레이블 검수 규칙을 병행해야 하며 차트 라벨과 문자열 필드에 대해 별도 감사 스텝을 두어 문자열 레이블 오류를 방지해야 한다. 차트의 불확실성 표시(예: 하한·상한)를 자동화하려면 소스별 기준 온도나 베이스라인을 메타데이터로 파싱해 시각화 생성 로직에 주입하는 방식을 권장한다. 이렇게 하면 형식적 규격과 과학적 불확실성 표기 사이의 균형을 유지할 수 있다.
Kimi처럼 추출 재현율이 높은 모델을 사용할 때는 reasoning 예산을 별도 설정하거나 bounded reasoning 모드로 전환하여 완성 예산 소모를 제어해야 하며 토큰 상한을 초과했을 때 중간 체크포인트를 남겨 부분 결과를 안전하게 저장하는 워크플로를 도입해야 한다. 또한 추출된 수치에 대해 소스 역추적 링크를 자동 첨부하고 derivation이 필요한 값은 계산 과정을 차트 노트에 기록하여 감사 가능성을 보장해야 한다. 벤치 결과가 실전과 동일하지 않을 수 있으므로 벤치-운영 간 차트 보카블러리 일치를 우선 점검해야 한다.

섹션별 상세

실험은 여섯 개 데이터 중심 사건에 대해 각 사건마다 동일한 여덟 개 소스 기사를 바이트 동일 프롬프트로 세 모델에 투입하는 방식으로 설계되었고 웹 접근이 차단된 환경에서 진행되었다. 차트 처리 변수로는 기존의 고정 차트 화이트리스트(bar, line, pie, timeline)를 제거하여 각 작성자가 자유롭게 차트 형식을 선택하도록 한 실험군과 이를 닫아둔 통제군을 병행하여 비교했다. 완료 예산과 관련해 600단어 상한과 완료 토큰 예산(원본에서 16,000토큰 캡)이 모델별 행동에 미치는 영향을 측정했고 Kimi 엔드포인트는 온도 설정을 받지 않으며 추론 토큰이 완성 예산을 소모하는 점이 운영 변수로 작동했다.

세 모델은 일관된 편집 성향 차이를 보였고 그 차이는 길이·형식 준수, 맥락 회복 능력, 수치 포함 범위로 구분되었다. Claude Fable 5는 사건의 논리와 맥락을 복구하는 편집자 성향을 보였고 보조 출처·방법론·인용을 자주 회수하여 기사 질을 높였지만 다섯 건 중 다섯 건에서 600단어 상한을 초과하여 규율 문제가 드러났다. GPT-5.6 Sol은 모든 테스트에서 형식·길이 준수를 완벽히 지켰고 불확실성 표현(하한 등)과 소스별 온도 기준을 처리한 차트를 생성했으나 서술이 목록형·와이어 서비스 스타일로 평탄했고 문자열 레이블 오류 사례가 하나의 감사에서 발견되었다.

Kimi K3는 소스에서 가능한 수치를 광범위하게 회수하는 방향으로 작동하여 수치 포함량이 많고 기사 구조가 밀도 있게 형성되었으며 보수적 차트 형식을 주로 선택했다. 운영상 특징으로는 추론에 소모하는 완성 예산이 매우 커서 원래 설정된 16,000토큰 캡에서 여러 실행이 전부 reasoning 예산을 소진해 글을 끝내지 못했고 일부 고정된 reasoning 제한을 적용하자 완료가 가능해졌다. 결과적으로 Kimi는 이 실험의 별도 벤치에서 83% 추출 재현율과 블라인드 패널 form-fit 3.9 점수를 기록했으나 실험군 간 차트 보카블러리 설정 차이로 직접 비교치는 제한이 있다.

시각화 측면에서는 프로덕션 위셔리스트로 생성된 12개의 차트와 앞선 세 모델이 각각 생성한 18개의 차트가 비교되었고 모델별 차트 유형 수는 Fable 6형태, Sol 10형태, Kimi 6형태로 집계되었다. 차트 유형 허용 범위를 열어두면 전반적으로 모델들이 선택 가능한 시각화 폭이 넓어져 편집적 판단이 다양화되었고 반대로 닫아두면 선택이 통제되어 모델 출력이 수렴하는 현상이 확인되었다. 이러한 차트 보카블러리 효과는 편집 관점에서 시각화가 어떤 이야기를 뒷받침할지에 직접적 영향을 미쳐 포맷 정책이 편집 결과에 중요한 설계 변수가 됨이 확인됐다.

용어 해설

추론 토큰(Reasoning Tokens): — 모델이 내부 추론을 위해 소비하는 토큰으로, 출력 텍스트와 동일한 완성 예산을 소모하거나 별도 예산으로 분리될 수 있으며 토큰 예산 소모량이 길이·완성 실패에 직접 영향을 미친다.
차트 보카블러리(Chart Vocabulary): — 기사 편집 과정에서 허용되는 차트 유형들의 집합으로, 허용 범위가 넓어지면 모델이 다양한 시각화 형식을 선택하여 편집적 판단을 확장하고 제한하면 선택이 수렴하는 편향을 유발한다.
출처 연동(그라운딩)(Grounding): — 생성된 수치나 주장 각각을 제공된 소스 텍스트의 특정 위치로 역추적하여 근거를 연결하는 절차로, 수치형 차트 값의 신뢰성을 확보하고 위조 여부를 판별하는 데 핵심적 역할을 한다.
추출 재현율(Extraction Recall): — 주어진 출처에서 모델이 유용한 수치·사실을 식별·추출해 산출물에 포함한 비율로서, 이 실험에서는 Kimi가 83%의 추출 재현율을 기록했다는 식으로 성능을 비교하는 지표로 쓰였다.

언급된 도구

Claude Fable 5추천

편집적 서술과 맥락 복구 중심의 기사 생성

GPT-5.6 Sol중립

형식·길이 준수와 불확실성 표기를 중시하는 기사 및 차트 생성

Kimi K3추천

소스에서 수치를 광범위하게 추출해 포함하는 고회수 리포팅

언급된 리소스

문서Writer Charts 실험 논문

Demo실험의 대화형 원문 출력

문서벤치마크 방법론 및 아티팩트