8889-coder/prereg-compression-null 저장소의 사전등록된 텍스트 압축 실험 결과

작성자는 공개 저장소와 재현 가능한 스크립트를 함께 제시하면서 커뮤니티에 자신의 결정론적 하한 기준을 묻는 형태로 토론을 촉발했다. 게시글 자체에는 결과와 재현 방법이 포함되어 있으며 질문으로 토론을 요청하는 문장으로 끝난다. 댓글이나 후속 반응은 원문에 포함되어 있지 않아 커뮤니티의 실제 반응 내용은 본문으로부터는 알 수 없다.

• 실험 시작 전에 합격 기준과 공개 규칙을 사전에 커밋할 것을 권고했다. 작성자는 PREREG.md에 통계적 기준과 '무조건 공개' 규칙을 명시해 실험 종료 후 결과를 기준에 따라 평가하도록 했다. 이 절차는 사후 수치 조작을 예방하고 결과의 투명성을 확보하는 실용적 수단으로 작동한다.
• 모든 LLM 기반 평가 지표 아래에 하나의 결정론적 하한을 두라고 권고했다. 작성자는 핵심 앵커 사실에 대해 정확 토큰 일치를 계산하는 하한을 설정해 LLM 의견이 전체 수치를 잠식하는 것을 막았고, 이 하한은 수치적 신뢰도를 일정 수준 확보하는 역할을 했다. 다만 하한의 신뢰구간과 샘플 편향성은 별도로 평가해야 한다.
• 동일 계열 모델의 자가채점 결과만으로 성과를 확정하지 말아야 한다고 권고했다. 저자는 v1의 자가채점 96%와 독립 판정자의 78.4% 차이를 제시해 자가채점이 결함을 드러낼 수 있음을 보였다. 따라서 독립 판정자 또는 결정론적 재현 절차를 병행해 자가채점의 과신을 보정해야 한다.

Pre-registration

— 실험 설계와 성공 기준을 데이터 수집 전에 고정해 기록하는 절차로서, 사전등록은 결과 변형이나 사후 조정 가능성을 제거하기 위해 가설과 통계적 기준을 미리 명시하고 실험이 끝난 뒤 결과를 해당 기준에 따라 평가하도록 만든다. 이 글에서는 합격 기준(pass/fail)과 공개 규칙을 PREREG.md에 고정해 재현성과 무작위적 재설정 의혹을 낮춘 사례로 사용되었다.

Deterministic floor

— LLM 판정으로 얻은 수치 아래에 놓이는 검증 가능한 기준으로서 사람이나 모델의 의견을 배제하고 정확한 토큰 일치나 실행 결과 등 결정론적 절차로 측정되는 하한값을 의미한다. 본문에서는 숫자·날짜·헥사 ID·파일명 같은 앵커 사실의 정확한 토큰 매치 비율을 결정론적 기준으로 사용해 LLM 판정의 의견성을 억제했다.

Exact-token match

— 출력 텍스트와 원문에서 기대하는 핵심 토큰이 완전히 동일한지 단순 비교하는 방법으로, 부분적 의미 보존이 아니라 문자·토큰 수준에서의 동일성을 요구하므로 결정론적 재현성 검증에 적합하다. 글에서는 이 방식으로 앵커 사실의 보존률을 계산해 90.48%라는 하한을 보고했다.

Self-grading bias

— 동일 계열 모델이 스스로 생성물을 평가할 때 나타나는 과신 또는 편향으로, 모델이 자기 출력의 정확성을 과대평가하는 경향이 실험 결과의 신뢰도를 떨어뜨릴 수 있다. 본문에서는 v1이 같은 계열로 자가채점해 96%를 보고한 사례를 이 결함의 예로 제시했다.

LLM judge

— 사람 대신 별도의 언어모델을 검토자 역할로 사용해 생성물의 보존성이나 정확도를 평가하는 방식으로, 다른 계열 모델을 판정자로 쓰면 자가채점과 다른 관점을 일부 제공하나 여전히 모델 의견이 개입될 수 있다. 글에서는 llama-3.3-70b가 독립 판정자로 활용되어 78.4%를 보고한 사례가 언급되었다.