Show HN 메리트 랭킹: LLM과 TrueSkill을 이용한 프로젝트 가치 재평가

섹션별 상세

Hacker News의 추천 수는 스크린샷만으로 평가하기 쉬운 프로젝트에 유리하게 작용하며 깊이 있는 기술 작업은 과소평가되는 경향이 있습니다. 이를 해결하기 위해 기술적 깊이, 독창성, 제작 기술(Craft)에 가중치를 두고 마케팅적 화려함은 배제하는 평가 루브릭을 설계했습니다.

근거

HN 추천 수는 스크린샷에서 평가하기 쉬운 프로젝트와 상관관계가 높으며, 깊이 있는 기술 작업은 불이익을 받는다. — README의 'The core claim' 섹션

데이터 수집 및 정제 단계에서는 Algolia API를 통해 Show HN 포스트를 가져오고 readability-lxml을 사용하여 본문 내용을 추출합니다. 텍스트 전용 포스트의 경우 링크를 파싱하여 내용을 보강하며, 판단 시점에는 각 포스트당 최대 6,000자로 제한하여 효율성을 높입니다.

bash

pip install -r requirements.txt
export DEEPINFRA_API_KEY=...
python scrape.py 50
python fetch_content.py
python rank.py
python publish.py

Show HN 랭킹 파이프라인을 설치하고 실행하는 기본 명령어 순서

판단 단계에서는 DeepSeek V4 Flash 모델이 두 프로젝트를 일대일로 비교하며, 위치 편향을 방지하기 위해 순서를 바꿔 두 번 판단하는 방식을 채택했습니다. 두 판단 결과가 엇갈릴 경우 무승부로 처리하며, 이는 TrueSkill 알고리즘에 직접 입력되어 점수의 신뢰도를 높입니다.

근거

위치 편향 완화를 위해 순서를 바꿔 두 번 판단하고 결과가 뒤집히면 무승부로 기록하는 것이 가장 효과적이다. — Judging 섹션의 'most effective mitigation for LLM positional bias' 설명

TrueSkill 알고리즘은 각 항목의 평균 실력(μ)과 불확실성(σ)을 계산하여 실질적인 순위를 도출합니다. 불확실성이 특정 임계값 이하인 항목만 최종 리포트에 포함하며, 게시된 지 48시간 미만인 포스트는 충분한 노출 기회를 고려하여 '숨겨진 보석' 목록에서 제외합니다.

용어 해설

트루스킬(TrueSkill): — 마이크로소프트 연구소에서 개발한 베이지안 기반의 상대적 실력 측정 알고리즘입니다. 승패 결과를 바탕으로 개별 항목의 실력(μ)과 불확실성(σ)을 계산하며, 이 프로젝트에서는 LLM의 비교 결과를 점수화하여 순위를 매기는 데 사용됩니다.
판사로서의 LLM(LLM-as-Judge): — 대규모 언어 모델을 사용하여 다른 텍스트나 프로젝트의 품질을 평가하고 순위를 매기는 방법론입니다. 사람이 직접 평가하는 대신 설정된 루브릭(평가 기준)에 따라 일관되고 빠른 평가를 수행할 수 있어 대량의 데이터 분석에 유리합니다.
위치 편향(Positional Bias): — LLM이 두 대상을 비교할 때 내용과 상관없이 제시된 순서(A-B 또는 B-A)에 따라 특정 쪽을 선호하는 경향입니다. 이 프로젝트에서는 순서를 바꿔 두 번 판단하게 함으로써 이 편향을 완화합니다.
쌍체 비교(Pairwise Comparison): — 모든 대상을 한꺼번에 순위 매기는 대신 두 개씩 짝을 지어 우열을 가리는 방식입니다. 복잡한 평가 기준을 단순화할 수 있으며, TrueSkill과 결합하여 전체 집단의 상대적 순위를 도출하는 데 효과적입니다.

기술

DeepSeek V4 Flash
Python
readability-lxml
Algolia API
TrueSkill

활용 사례

기술 포트폴리오 자동 평가 시스템
커뮤니티 게시물 품질 기반 재정렬
숨겨진 오픈소스 프로젝트 발굴 도구

언급된 리소스

GitHubshowhn-rank GitHub Repository