asktheboard: 사전 등록 확률로 AI 페르소나의 판단을 점수화하는 파이썬 라이브러리

커뮤니티 반응은 실용성과 투명성 측면에서 긍정적인 관심을 모았고 여러 사용자가 BYOK 설계와 서버 스탬프 방식에 대해 유사한 필요성을 제시했다. 일부는 단일 라운드 예시가 통계적으로 제한적이라는 점을 지적하며 누적 검증 데이터가 필요하다고 언급했다. 전반적으로 도구의 설계 철학과 구현 선택에 대해 실무 적용 가능성을 중심으로 건설적인 논의가 이어졌다.

• 로컬 또는 호스팅된 OpenAI 호환 엔드포인트에 연결할 때는 LLMClient 프로토콜을 구현해 모델 호출을 추상화하면 동일한 평가 파이프라인을 재사용하기 쉽다. 구현은 HTTP 표준 라이브러리 urllib을 통해 간단히 구성할 수 있으며 네트워크 의존성을 최소화해 테스트를 반복하는 것이 권장된다. 빠른 검증을 위해서는 모델 없이도 create → resolve → score 루프를 실행해 워크플로 동작을 확인한 뒤 실제 엔드포인트를 연결할 것을 권장한다.
• 무결성 확보를 위해 예측 제출 시점을 공개된 서버 타임스탬프와 연결하고 GitHub 릴리스나 PyPI 업로드와 같은 외부 앵커를 병행하면 사후 변경 가능성을 낮출 수 있다. 장기적으로 신뢰도를 확보하려면 여러 라운드의 누적 점수를 쌓아 좌석별 캘리브레이션을 통계적으로 검증해야 한다. 검증 데이터가 충분해질 때까지는 단일 라운드 결과를 과도하게 일반화하지 않는 것이 안전하다.

Brier score

— 브라이어 점수는 확률 예측의 정확도를 측정하는 지표로서 예측 확률과 실제 결과(0 또는 1) 차이의 제곱 평균으로 계산된다. 값이 작을수록 예측이 현실과 잘 일치함을 의미하며 확률적 캘리브레이션 검증에 직접 사용된다. 이 게시물에서는 좌석별 예측을 수치화하고 누적 점수판을 유지하는 핵심 평가지표로 쓰였다.

Calibration

— 캘리브레이션은 모델 또는 예측 주체가 보고한 확률과 실제 사건 발생률 사이의 일치성을 평가하는 개념이다. 입력으로 예측 확률을 받고 처리 단계에서 여러 예측을 집계하거나 점수화한 뒤 출력으로 평균 오차나 브라이어 점수 같은 지표를 산출해 신뢰도를 판정한다. 이 프로젝트는 좌석별 사전 등록 확률과 결과 비교를 통해 캘리브레이션을 장부로 남기는 목적을 가진다.

Pre-registered prediction

— 사전 등록 예측은 결과가 공개되기 전에 예측과 확률을 불변의 증거로 남기는 관행으로서, 타임스탬프된 공개 기록에 의해 예측 시점과 내용이 고정된다. 구현은 예측 생성(create) 시점의 서버 타임스탬프와 배포된 릴리스 메타데이터를 근거로 하고, 해석 단계에서 해당 타임스탬프와 비교해 무결성을 검증한다. 본 레포는 이 절차를 사용해 예측의 변조 가능성을 낮추고 누적 성능을 기록한다.

LLM endpoint

— LLM 엔드포인트는 외부 또는 로컬에서 제공하는 모델 추론 인터페이스로서 HTTP API 주소로 요청을 보내 입력 텍스트를 전달하고 응답을 받는 방식으로 동작한다. 사용자는 OpenAI 호환 규격의 엔드포인트를 지목해 LLMClient 인터페이스로 연결하면 모델 호출이 가능하며 본 프로젝트는 특정 공급자에 종속되지 않도록 설계되었다. 핵심은 모델 호출을 추상화해 BYOK(Bring Your Own Key) 패턴을 지원하는 점이다.