Reddit의 AI 저질 게시물을 걸러내기 위해 유용한 포스트만 추출하는 알고리즘을 개발했습니다

실용적 조언

커뮤니티 데이터를 필터링할 때 추천 수뿐만 아니라 추천 비율(Upvote Ratio)을 함께 고려하면 노이즈를 효과적으로 줄일 수 있다.
LLM 비용을 절감하기 위해 모든 데이터를 모델에 넣기 전 통계적 필터링을 선행하는 것이 경제적이다.

섹션별 상세

작성자는 r/vibecoding, r/ClaudeCode 등 9개 주요 서브레딧과 특정 키워드 검색을 병행하여 데이터를 수집했다. 이 방식은 일반적인 개발 커뮤니티인 r/webdev나 r/programming에 섞여 있는 AI 관련 양질의 포스트까지 놓치지 않고 포착하는 역할을 한다. 수집된 데이터는 단순한 제목뿐만 아니라 본문 내용까지 포함하여 분석의 기초가 된다.

1차 필터링 단계에서는 추천 비율 70% 이상과 최소 댓글 1개라는 엄격한 참여도 기준을 적용했다. 서브레딧 규모에 따라 점수 임계값을 유동적으로 조절하여 대형 커뮤니티의 무의미한 노이즈는 제거하고 소규모 커뮤니티의 알찬 정보를 보존하는 메커니즘을 갖췄다. 이 과정을 통해 전체 게시물의 약 80%에 달하는 저품질 콘텐츠를 AI 분석 전에 미리 걸러낸다.

Hacker News 스타일의 랭킹 알고리즘을 도입하여 투표수의 한계 효용과 시간 경과에 따른 점수 감쇠를 계산했다. 초기 10개의 추천이 이후 90개의 추천만큼 중요한 비중을 차지하도록 설계하여 신규 유입 정보의 가시성을 높였다. 특히 추천 수 대비 댓글이 지나치게 많은 논란성 글은 품질 점수에서 감점을 부여하여 정보의 신뢰도를 확보했다.

최종 단계에서 Haiku 4.5 모델이 상위 50개 게시물을 분석하여 품질 등급과 카테고리를 분류했다. 1회 실행당 약 6센트의 저렴한 비용으로 튜토리얼, 도구, 통찰 등 유용한 정보만 남기는 효율적인 파이프라인을 구축했다. 특정 서브레딧이나 카테고리에 편중되지 않도록 다양성 제약 조건을 추가하여 매일 9개의 균형 잡힌 포스트를 제공한다.

이미지 분석

Screenshot
AI가 요약한 게시물 제목, 요약문, 출처 서브레딧, 카테고리(Tutorial, Insight 등)가 정리된 모습을 보여준다. 실제 사용자가 접하게 될 큐레이션 결과물의 형태를 확인할 수 있다.
개발된 'Signal' 서비스의 실제 웹 인터페이스 화면이다.

용어 해설

바이브코딩(Vibecoding): — 엄격한 설계나 문법보다는 AI와의 대화를 통해 직관적으로 코드를 작성하고 결과물을 만들어내는 개발 방식이다. AI의 추론 능력을 극대화하여 개발자가 세부 구현보다 전체적인 흐름과 느낌(Vibe)에 집중할 수 있게 한다.
해커뉴스 랭킹 알고리즘(Hacker News Algorithm): — 게시물의 추천 수와 게시된 시간을 조합하여 최신성과 인기를 동시에 반영하는 랭킹 산출 방식이다. 시간이 지날수록 점수가 감쇠하도록 설계되어 새로운 양질의 정보가 상단에 노출되도록 돕는다.
참여도 기반 필터링(Engagement Filtering): — 추천 수, 댓글 수, 추천 비율 등 사용자 반응 데이터를 지표로 삼아 콘텐츠의 품질을 1차적으로 선별하는 기법이다. 대량의 데이터에서 저품질 노이즈를 빠르게 제거하여 분석 효율을 높이는 데 중요하다.

언급된 도구

Claude Code추천

전체 시스템 구축 및 자동화에 사용된 AI 코딩 에이전트

Haiku 4.5추천

게시물 품질 분류 및 카테고리 할당에 사용된 LLM

언급된 리소스

DemoPromptbook Signal