10억+ 후보 프로필 검색에서 LLM 판사 라벨과 대비학습을 활용해 관련도 개선한 엔지니어링 사례

작성자는 시스템 설계 전반과 세부 트레이닝 절차를 공개했고 댓글에서 교사(teacher) 선택, Matryoshka 트레이닝, 평가 캐스케이드에 대해 추가 질의를 받는 양상이었다. 일부 참여자는 LLM 기반 라벨이 도메인 지식이 필요한 경우 인간보다 우수하다는 관찰에 공감을 표했고 다른 일부는 인간 피드백을 직접적으로 랭커에 반영하는 RL 접근을 선호한다는 반응을 보였다. 전반적으로 경험 기반 팁과 쿼리 코호트 분석의 필요성에 동의하는 분위기가 우세했다.

• 쿼리 분포 분석을 통해 짧은 질의와 긴 질의 등 코호트를 정의한 뒤 각 코호트에 맞춘 데이터 혼합과 어댑터를 적용해 파인튜닝해야 한다는 점이 경험적으로 효과적이었다.
• 고신뢰 라벨 선택을 위해 weighted Cohen's Kappa 같은 일관성 지표를 사용해 LLM 생성 라벨 중 신뢰도가 높은 사례를 선별하고 이를 교수 데이터로 사용해야 한다.
• Chain-of-Thought를 포함한 라벨 생성은 기술적 자격 판단에서 LLM의 일관성을 높여 라벨 품질을 개선하므로 판단 이전에 CoT를 유도하는 워크플로를 고려할 필요가 있다.

Contrastive Pretraining

— 대조적 사전학습은 긍정 쌍과 부정 쌍을 이용해 임베딩 공간에서 유사도 구조를 학습하는 방법이다. 입력 쌍을 샘플링하고, 양성 쌍의 임베딩을 가깝게, 음성 쌍은 멀게 만들도록 손실을 최적화하여 표현을 분리한다. 검색용 임베딩 품질을 높여 파인튜닝 시 재현성과 상관관계가 개선되는 것이 핵심적 중요성이다.

LoRA

— LoRA는 전체 모델 가중치를 고정한 채 저순위(low-rank) 분해 행렬만 학습하는 파라미터 효율적 파인튜닝 방식이다. 학습 시 원래 가중치에 더해지는 작은 저순위 행렬 두 개만 업데이트하므로 메모리와 계산 부담을 줄인다. 대규모 모델을 제한된 리소스에서 임베딩이나 특화 과제에 맞춰 적응시킬 때 실용적이다.

Chain-of-Thought

— Chain-of-Thought는 모델이 중간 추론 단계를 텍스트로 생성하게 하여 복잡한 판단 근거를 드러내는 프롬프트 기법이다. 입력에 대해 단계적 추론을 유도한 뒤 최종 판단을 얻어 라벨 품질과 일관성을 개선하는 데 사용된다. 라벨 부트스트랩이나 고품질 교사 레이블 생성에서 근거를 확보하는 수단으로 중요하다.

Cohen's Kappa

— Cohen's Kappa는 두 평가자 간 일치도를 기댓값 대비 조정해 측정하는 통계적 척도이다. 가중치를 둔 형태는 등급 차이에 따라 불일치의 심각도를 반영하므로 라벨 선택·정제에서 유용하다. 대규모 자동 라벨링 시스템에서 신뢰할 만한 레이블을 추출할 때 기준으로 활용된다.