asktheboard: 사전 등록 확률로 AI 페르소나의 판단을 점수화하는 파이썬 라이브러리

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

이 프로젝트는 여러 AI 페르소나가 사건 발생 전에 각자 확률을 사전 등록하고 결과가 나오면 Brier 점수로 좌석별 및 합산 성과를 계산해 누적 점수판을 유지하는 파이썬 라이브러리이다. 사용자는 OpenAI 호환 엔드포인트를 BYOK 방식으로 연결하고 LLMClient 프로토콜을 통해 모델 호출을 추상화할 수 있으며 라이브러리는 표준 urllib만으로 동작하도록 설계되어 있다. 게시물은 2026년 6월 미국 고용보고 사례에서 회의적 좌석이 승리한 수치(좌석별 Brier 점수 및 집단 점수)를 제시해 이견의 기록과 캘리브레이션 검증의 유효성을 보여주었고 동시에 단일 라운드는 통계적으로 제한적이라는 한계도 인정했다.

실용적 조언

로컬 또는 호스팅된 OpenAI 호환 엔드포인트에 연결할 때는 LLMClient 프로토콜을 구현해 모델 호출을 추상화하면 동일한 평가 파이프라인을 재사용하기 쉽다. 구현은 HTTP 표준 라이브러리 urllib을 통해 간단히 구성할 수 있으며 네트워크 의존성을 최소화해 테스트를 반복하는 것이 권장된다. 빠른 검증을 위해서는 모델 없이도 create → resolve → score 루프를 실행해 워크플로 동작을 확인한 뒤 실제 엔드포인트를 연결할 것을 권장한다.
무결성 확보를 위해 예측 제출 시점을 공개된 서버 타임스탬프와 연결하고 GitHub 릴리스나 PyPI 업로드와 같은 외부 앵커를 병행하면 사후 변경 가능성을 낮출 수 있다. 장기적으로 신뢰도를 확보하려면 여러 라운드의 누적 점수를 쌓아 좌석별 캘리브레이션을 통계적으로 검증해야 한다. 검증 데이터가 충분해질 때까지는 단일 라운드 결과를 과도하게 일반화하지 않는 것이 안전하다.

섹션별 상세

프로젝트의 핵심은 여러 개의 AI 페르소나가 동일한 의사결정에 대해 각각 사전 등록된 확률을 제출하고 결과가 나오면 Brier 점수로 성능을 채점해 누적 스코어보드를 유지하는 구조이다. 입력은 각 좌석이 제출한 확률이며 처리 단계는 결과 공개 시점에 각 좌석의 브라이어 점수를 계산하는 루프(create → resolve → score)이고 출력은 좌석별과 집단 합산 점수의 영구 기록이다. 저자는 서버 타임스탬프와 퍼블릭 릴리스 메타데이터를 근거로 사전 등록 시점을 증명했으며 이 방식은 조작 방지 목적을 가진다. 이 설계는 개인의 직관과 좌석별 확률 간 차이를 객관적으로 비교할 근거를 제공한다.

예시 케이스로 2026년 6월 미국 비농업고용보고 예측 라운드를 공개했으며 보드는 비농업 고용 증가 15만 이상이라는 임계치를 놓고 전체 합의 확률 56%와 회의적 좌석 40%를 사전 등록했다. 결과는 임계치 미달로 회의적 좌석이 승리했고 게시물에 제시된 좌석별 브라이어 점수는 각각 0.160, 0.360, 0.336이며 집단 합의는 0.314로 기록되었다. 이 수치들은 단일 라운드의 결과를 보여주며 저자는 하나의 라운드만으로 결론을 내리기는 어렵다고 명시했다. 그러나 누적된 서버 스탬프 점수판이 장기적인 캘리브레이션 평가와 신뢰도 판단에 유용함이 논의되었다.

기술 통합 측면에서 라이브러리는 어떤 OpenAI 호환 엔드포인트든 연결할 수 있는 BYOK 방식을 채택했고 LLMClient 프로토콜을 통해 모델 호출을 추상화한다. 네트워크 의존성을 최소화하기 위해 기본 HTTP 클라이언트로 표준 라이브러리 urllib만 사용하도록 설계되었으며 라이브러리 자체는 기본적으로 공급자 키를 포함하거나 외부 호출을 자동으로 수행하지 않는다. create → resolve → score 루프는 완전한 데이터 기반 워크플로로서 모델을 실제로 실행하지 않고도 데모를 실행할 수 있는 구조를 제공한다. 이 설계로 개발자는 원하는 추론 백엔드를 선택해 연결한 뒤 동일한 평가 파이프라인을 재사용할 수 있다.

무결성 확보를 위해 저자는 GitHub 릴리스의 created_at과 PyPI 업로드 시간 같은 서버 타임스탬프를 근거로 앵커를 공개했다. 이 방법은 예측 제출 시점을 외부에서 제어할 수 없는 타임스탬프와 연결해 사후 변경을 어렵게 만든다. 게시물은 이 방식이 반칙 방지(anti-cheat) 메커니즘으로 기능하며 사전 등록의 증빙력을 높였다고 보고했다. 다만 타임스탬프 기반 증거도 완벽한 보안 보장은 아니며 장기적으로 신뢰할 수준의 누적 데이터가 필요하다는 점이 함께 지적되었다.

용어 해설

브라이어 점수(Brier score): — 브라이어 점수는 확률 예측의 정확도를 측정하는 지표로서 예측 확률과 실제 결과(0 또는 1) 차이의 제곱 평균으로 계산된다. 값이 작을수록 예측이 현실과 잘 일치함을 의미하며 확률적 캘리브레이션 검증에 직접 사용된다. 이 게시물에서는 좌석별 예측을 수치화하고 누적 점수판을 유지하는 핵심 평가지표로 쓰였다.
캘리브레이션(Calibration): — 캘리브레이션은 모델 또는 예측 주체가 보고한 확률과 실제 사건 발생률 사이의 일치성을 평가하는 개념이다. 입력으로 예측 확률을 받고 처리 단계에서 여러 예측을 집계하거나 점수화한 뒤 출력으로 평균 오차나 브라이어 점수 같은 지표를 산출해 신뢰도를 판정한다. 이 프로젝트는 좌석별 사전 등록 확률과 결과 비교를 통해 캘리브레이션을 장부로 남기는 목적을 가진다.
사전 등록 예측(Pre-registered prediction): — 사전 등록 예측은 결과가 공개되기 전에 예측과 확률을 불변의 증거로 남기는 관행으로서, 타임스탬프된 공개 기록에 의해 예측 시점과 내용이 고정된다. 구현은 예측 생성(create) 시점의 서버 타임스탬프와 배포된 릴리스 메타데이터를 근거로 하고, 해석 단계에서 해당 타임스탬프와 비교해 무결성을 검증한다. 본 레포는 이 절차를 사용해 예측의 변조 가능성을 낮추고 누적 성능을 기록한다.
LLM 엔드포인트(LLM endpoint): — LLM 엔드포인트는 외부 또는 로컬에서 제공하는 모델 추론 인터페이스로서 HTTP API 주소로 요청을 보내 입력 텍스트를 전달하고 응답을 받는 방식으로 동작한다. 사용자는 OpenAI 호환 규격의 엔드포인트를 지목해 LLMClient 인터페이스로 연결하면 모델 호출이 가능하며 본 프로젝트는 특정 공급자에 종속되지 않도록 설계되었다. 핵심은 모델 호출을 추상화해 BYOK(Bring Your Own Key) 패턴을 지원하는 점이다.

언급된 도구

Ollama추천

로컬 또는 원격 LLM 엔드포인트로서 추론 백엔드 역할

LM Studio추천

모델 호스팅 및 추론을 제공하는 엔드포인트 옵션

OpenRouter추천

OpenAI 호환 API를 중계하는 엔드포인트 제공자

urllib추천

표준 라이브러리 기반의 HTTP 클라이언트로 간단한 엔드포인트 호출에 사용

LLMClient Protocol추천

모델 호출을 추상화해 다양한 엔드포인트를 일관되게 연결하는 인터페이스

언급된 리소스

GitHubasktheboard GitHub 레포지토리

GitHub2026-06 비농업고용보고 예제

문서asktheboard 문서 사이트