Stack Overflow의 Question Assistant: 전통적 ML과 LLM을 결합한 질문 품질 개선 여정

섹션별 상세

Stack Overflow의 'Staging Ground'에서 리뷰어들이 반복적으로 남기는 피드백(컨텍스트 부족, 중복 등)을 자동화하기 위해 AI 도입을 결정했다. 초기 테스트에서 LLM(Gemini)에게 질문 품질을 1~5점으로 평가하게 했으나, 점수와 피드백 간의 상관관계가 낮고 질문 수정 후에도 점수가 변하지 않는 등 신뢰성 문제가 발생하여 단순 점수화 방식을 폐기했다.

품질을 수치화하는 대신 특정 피드백이 필요한지 여부를 판단하는 '지표 모델(Indicator Models)'을 구축했다. TF-IDF로 벡터화된 과거 리뷰어 댓글 데이터를 활용해 로지스틱 회귀(Logistic Regression) 모델을 학습시켰으며, 이는 문제 정의 부족, 시도 내용 누락, 에러 상세 정보 부족, 재현 코드(MRE) 미비 등 4가지 항목을 이진 분류한다.

ML 모델이 특정 지표를 감지하면 해당 지표에 대한 사전 정의된 텍스트와 사용자의 질문 내용을 Gemini LLM에 전달한다. Gemini는 시스템 프롬프트를 따라 이 정보들을 합성하여 사용자의 구체적인 상황에 맞는 맞춤형 피드백을 생성한다. 이는 LLM의 범용적인 응답 대신 실제 리뷰어가 남긴 것과 유사한 구체적인 가이드를 제공하는 데 효과적이다.

Question Assistant의 작동 흐름을 보여주는 시퀀스 다이어그램 — Diagram사용자가 질문을 보내면 Feedback Classifiers(ML 모델)가 지표를 분류하고, 긍정적인 지표가 발견되면 LLM이 사전 로드된 텍스트와 결합해 구체적인 피드백을 생성하여 반환하는 과정을 시각화한다. 이 과정은 사용자가 수정을 반복할 때마다 다시 실행된다.

전체 시스템은 Azure Databricks 생태계 내에서 학습 및 관리되며, 프로덕션 환경에서는 Azure Kubernetes Service(AKS)를 통해 서빙된다. 데이터 로깅과 모니터링에는 Azure Event Hub와 Datadog을 활용하여 생성된 피드백의 유용성을 지속적으로 추적하고 모델 개선에 반영한다.

두 단계의 A/B 테스트 결과, 리뷰 시간 단축이나 승인율 자체는 큰 변화가 없었으나 질문이 유지되고 답변을 받는 '성공률'이 대조군 대비 12% 일관되게 상승했다. 이는 Question Assistant가 제공하는 피드백이 질문의 실질적인 품질을 개선하여 커뮤니티의 긍정적인 반응을 이끌어내는 데 기여했음을 입증한다.

용어 해설

단어 빈도-역문서 빈도(TF-IDF): — 텍스트 내 단어의 중요도를 계산하는 통계적 수치로, 특정 문서에서 자주 등장하면서 전체 문서군에서는 드물게 등장하는 단어에 높은 가중치를 부여한다. 이 아티클에서는 리뷰어의 댓글 데이터를 벡터화하여 분류 모델의 입력값으로 변환하는 데 사용됐다.
로지스틱 회귀(Logistic Regression): — 데이터가 특정 범주에 속할 확률을 0과 1 사이의 값으로 예측하는 이진 분류 알고리즘이다. 질문에 특정 피드백 지표(문제 정의 부족 등)가 필요한지 여부를 빠르고 정확하게 판단하는 '지표 모델'의 핵심 로직으로 활용됐다.
최소 재현 가능 예시(MRE): — 문제를 해결하기 위해 필요한 최소한의 코드와 데이터만 포함된 독립적인 예시를 의미한다. Stack Overflow에서 좋은 질문의 핵심 요소 중 하나이며, Question Assistant가 감지하는 주요 품질 지표 중 하나다.
크리펜도르프 알파(Krippendorff's Alpha): — 서로 다른 평가자들이 내린 평가 결과의 일관성을 측정하는 통계적 지표다. Stack Overflow는 리뷰어들의 질문 품질 평가 데이터가 모델 학습에 사용될 만큼 신뢰할 수 있는지 검증하기 위해 이 지표를 사용했다.

기술

Google Gemini
Logistic Regression
TF-IDF
Azure Databricks
Azure Kubernetes Service
Datadog

활용 사례

자동 질문 검수 시스템
맞춤형 교육 피드백 생성
커뮤니티 콘텐츠 품질 관리 자동화