7개 AI 모델을 월드컵 전 경기 베팅으로 경쟁시키고 모든 호출·토큰·추론 흔적을 기록한 실험

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

작성자는 2026 월드컵 전 경기를 대상으로 7개 AI 모델을 경쟁시키는 베팅 실험을 설계하여 모델별 의사결정과 비용 지표를 정밀하게 기록했다. 실험은 단일 정보 수집 에이전트가 팀별 도식과 경기별 브리핑을 작성하고, 모든 모델이 동일한 브리핑을 읽은 뒤 단계적으로 베팅 여부를 결정하도록 구성되어 사전 지식과 배당 정보의 영향이 분리된다. 실험은 각 호출의 토큰 인/아웃과 비용, 그리고 모델이 남긴 full reasoning trace를 로깅함으로써 단순한 리더보드 수익 비교를 넘는 모델 동작·추론·비용 관계 분석을 가능하게 한다.

실험의 핵심 작동 절차는 두 단계 의사결정과 사전 정의된 베팅 헌장이다. 첫 단계에서 모델은 경기 승자와 confidence, 그리고 이유를 고정하고 두 번째 단계에서 배당을 공개한 뒤 실제로 배팅하거나 폴드한다는 점이 명시되어 있다. 이 방식은 모델이 정보 없이 내린 사전 판단과 시장(배당) 정보를 접한 후의 행동을 분리해서 관찰하도록 만든다. 작성자는 각 모델에 가상 자본을 할당하고 규칙을 문서화하여 전략 다양성을 확보했으며 전체 규칙과 실시간 순위는 외부 링크로 접근 가능하다.

이 실험 설계는 모델의 판단 과정과 실제 의사결정 간 괴리를 분석하고, 토큰 및 비용 소비와 수익성의 상관관계를 계량화하는 데 유용하다. 다만 원문에 있는 금액 표기 사이에 불일치가 존재하여 해석 시 주의가 필요하며 외부 링크를 통해 규칙과 진행 상황을 직접 검증해야 한다. 공개되는 로그를 통해 모델별 행동 패턴과 비용 대비 성과를 비교하는 연구나 실무적 의사결정 자동화의 성능 평가에 유용한 데이터를 제공할 가능성이 크다.

섹션별 상세

작성자는 7개 주요 AI 모델을 동일한 경기별 브리핑을 기반으로 경쟁시키는 실험을 설계했고 실험 목적은 모델별 의사결정 패턴과 수익성·비용 관계를 계량화하는 것이다. 단일 웹 접근 권한을 가진 정보 수집 에이전트가 팀별 도식과 경기 브리핑을 수집하여 모든 모델에 동일 입력을 제공하는 방식으로, 입력은 브리핑 → 모델의 내부 추론 → 최종 베팅 결정이라는 처리 흐름을 가진다. 원문에는 모델당 예산과 실험 규칙을 명시한 외부 링크가 포함되어 있으며 작성자는 모든 호출·토큰·비용과 full reasoning trace를 로깅한다고 명시했다. 이렇게 수집된 로그는 모델의 초동 판단과 배당 정보 반응을 분리해 비교할 수 있어 의사결정 메커니즘 분석에 직접적으로 활용될 수 있다.

용어 해설

추론 흔적(Reasoning trace): — 모델이 특정 입력에 대해 생성한 내부적 사고 흐름과 중간 출력, 확신치 등을 연속적으로 기록한 데이터로, 입력 → 내부 추론 → 최종 출력의 연결을 재구성할 수 있게 한다. 이 실험에서는 각 모델의 Step 1에서 제시한 이유와 confidence, Step 2의 베팅 결정까지의 과정이 모두 기록되어 모델별 의사결정 패턴을 비교 분석하는 핵심 근거가 된다. 상세 로그는 모델의 신뢰도 추정과 결정을 비용·토큰 소모와 연계해 평가하는 데 중요하다.
경기별 브리핑(Per-match briefing): — 각 경기의 참여 팀에 대한 요약 정보와 관련 사실을 하나의 문서로 정리한 입력 자료로, 모델들이 동일한 사전지식을 기반으로 예측을 하도록 표준화된 컨텍스트를 제공한다. 이 브리핑이 첫 단계 입력으로 주어지며 모델은 브리핑을 읽고 승자·confidence·이유를 고정한 뒤 배팅 여부를 결정하게 된다. 동일한 브리핑을 사용함으로써 모델 간 비교가 가능한 실험적 통제가 이루어진다.
베팅 헌장(Betting constitution): — 각 모델이 실험 시작 시 스스로 정의하는 베팅 규칙과 위험 선호를 문서화한 전략으로, 각 규칙은 배당·리스크 관리·자금 배분 방식 등을 포함할 수 있다. 이 헌장은 동일한 상황에서 모델들이 일관되게 행동하게 만들며 전략별 수익성·리스크·토큰·비용 트레이드를 비교할 수 있는 기준이 된다. 실험 결과 해석에서는 규칙 차이가 성능 차이에 미치는 영향을 분리하는 데 핵심 역할을 한다.