이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
이 글은 10억개 이상의 후보 프로필을 대상으로 하는 채용 검색에서 관련성 라벨이 부족한 상황을 해결한 시스템 설계와 실험 결과를 포함한다. 핵심적으로 prompt-engineered Expert Judge로 수백만 건의 Chain-of-Thought 포함 라벨을 생성하고 그 라벨을 바탕으로 대비학습과 LoRA 또는 end-to-end 파인튜닝을 통해 임베딩을 재학습해 검색 품질을 개선했다. 오프라인 사전 랭킹의 고관련성 비율이 4%포인트 개선되었고 온라인에서는 가드 이후 HRR이 2.7%포인트 상승하고 InMail 발송이 4.1% 증가했으며 소싱 후보 수는 4% 감소하는 질적 트레이드오프가 관찰되었다. 그러나 Expert Judge의 프롬프트·가중치·코드는 공개되지 않아 외부 재현이 제한되며 쿼리 유형별 분포 불일치를 해결하기 위해 쿼리 혼합과 어댑터 적용이 병행되었다.
실용적 조언
- 쿼리 분포 분석을 통해 짧은 질의와 긴 질의 등 코호트를 정의한 뒤 각 코호트에 맞춘 데이터 혼합과 어댑터를 적용해 파인튜닝해야 한다는 점이 경험적으로 효과적이었다.
- 고신뢰 라벨 선택을 위해 weighted Cohen's Kappa 같은 일관성 지표를 사용해 LLM 생성 라벨 중 신뢰도가 높은 사례를 선별하고 이를 교수 데이터로 사용해야 한다.
- Chain-of-Thought를 포함한 라벨 생성은 기술적 자격 판단에서 LLM의 일관성을 높여 라벨 품질을 개선하므로 판단 이전에 CoT를 유도하는 워크플로를 고려할 필요가 있다.
섹션별 상세
채용 리크루터용 검색 문제는 자유문장 질의와 복잡한 채용 의도를 10억개 이상의 후보 프로필에서 처리해야 한다는 점에서 시작되었다. 입력으로는 자유 텍스트 질의와 프로필 텍스트가 들어오고, 시스템은 여러 검색 기법을 결합한 후보 회수와 L2 랭커, 최종적으로 LLM 기반 가드를 통해 결과를 필터링하는 파이프라인을 구성했다. 초기에는 '이 사람이 적합한가'에 대한 직접적인 라벨이 없고 오직 InMail 전송·수락 같은 참여 신호만 있어 흥미도를 최적화하는 현상이 관찰되었으며 키워드·패싯 기반 베이스라인은 자격 미달 후보와 저유동성 질의 사이의 품질-유동성 절충을 야기했다.
시스템 설계의 핵심은 고품질 판정을 내리는 prompt-engineered Expert Judge를 제품 정책 역할로 두고, 그 라벨을 대량으로 생성해 오픈웨이트 모델에 대한 스케일러블한 교수(teacher)를 부트스트랩한 점이다. 구체적으로 Chain-of-Thought를 포함한 판정 로그를 Expert Judge로부터 얻은 뒤, 그 라벨을 기준으로 대비학습과 LoRA 또는 end-to-end 임베딩 파인튜닝을 수행해 임베딩을 재학습했다. 라벨 선별에는 weighted Cohen's Kappa를 활용해 신뢰도가 높은 사례를 추려 대규모(수백만 건) 학습 코드세트를 만들었고, CoT를 판단 이전에 적용하면 라벨 품질이 개선되는 관찰이 보고되었다.
라벨의 품질 비교에서 고신뢰 LLM 라벨이 지식집약적 자격조건에서는 훈련된 언어학자보다 우수한 경우가 다수 관찰되었다는 점이 비직관적이었다. 이 현상은 기술적 자격 판단에서 사람이 놓치기 쉬운 전문 용어와 조건 매칭에서 LLM의 일관된 추론이 이점을 보였기 때문이며, 반면 상식적 판단이나 간단한 산수 문제에서는 인간 라벨러가 더 우수했다는 사례가 보고되었다. 따라서 인간 라벨을 불변의 정답으로 보지 않고 노이즈가 있는 관찰으로 처리해 라벨 스태킹과 자동 라벨 선택 절차를 설계하는 것이 중요하다는 결론이 도출되었다.
임베딩 파인튜닝 실험에서는 모델 크기보다 대비적(post-)학습(pretraining) 특성이 더 큰 영향을 미친 관찰이 있었다. 구체적으로 대비적 사전학습이 적용된 기반 모델을 LoRA나 end-to-end 방식으로 파인튜닝하면, 단순히 더 큰 생성형 모델을 사용하는 경우보다 검색 관련 임베딩 성능이 더 잘 적응하는 경향이 나타났다. 이 현상은 검색 목적의 표현학습에서 거대한 생성 능력보다 유사도 구조를 잘 잡아주는 사전학습 목적이 우선이라는 실무적 시사점을 제공했다.
쿼리 분포 불일치로 인한 성능 저하는 초기 집계 지표만으로는 탐지되지 않았고, 짧은 질의와 긴 질의에서 상이한 성능 특성이 나타났다. 이를 해결하기 위해 학습 데이터에서 쿼리 유형을 혼합하고 쿼리 유형별 어댑터를 도입해 각 코호트에 맞춘 파인튜닝을 적용했고, 코호트 분석을 통해 숨겨진 성능 저하를 발견해 지표 개선으로 연결했다. 이 과정은 단일 평균 지표로는 배포 리스크를 과소평가할 수 있음을 보였고 실전 배포에서는 쿼리군별 세분화된 평가가 필수임이 확인되었다.
최종 측정 결과는 기준 대비 오프라인에서 사전 랭킹의 고관련성 비율(HRR)이 4%포인트 개선되었고, 온라인에서는 가드 이후 HRR이 2.7%포인트 증가했으며 InMail 발송이 4.1% 늘고 소싱된 후보 수는 4% 감소하는 방향으로 질적 트레이드오프가 관찰되었다. 이 수치들은 EBR 기반 임베딩 융합과 vanilla open-weight LLM 임베딩을 포함한 베이스라인과의 상대 비교에 근거한 값이며 오프라인·온라인 측정이 모두 보고되었다. 단점으로는 Expert Judge의 프롬프트, 모델 가중치, 코드가 공개되지 않아 외부에서 동일한 판정자를 재현하기 어렵다는 점이 명시되었다.
용어 해설
- 대조적 사전학습(Contrastive Pretraining)
- — 대조적 사전학습은 긍정 쌍과 부정 쌍을 이용해 임베딩 공간에서 유사도 구조를 학습하는 방법이다. 입력 쌍을 샘플링하고, 양성 쌍의 임베딩을 가깝게, 음성 쌍은 멀게 만들도록 손실을 최적화하여 표현을 분리한다. 검색용 임베딩 품질을 높여 파인튜닝 시 재현성과 상관관계가 개선되는 것이 핵심적 중요성이다.
- LoRA
- — LoRA는 전체 모델 가중치를 고정한 채 저순위(low-rank) 분해 행렬만 학습하는 파라미터 효율적 파인튜닝 방식이다. 학습 시 원래 가중치에 더해지는 작은 저순위 행렬 두 개만 업데이트하므로 메모리와 계산 부담을 줄인다. 대규모 모델을 제한된 리소스에서 임베딩이나 특화 과제에 맞춰 적응시킬 때 실용적이다.
- 연쇄적 사고(Chain-of-Thought)(Chain-of-Thought)
- — Chain-of-Thought는 모델이 중간 추론 단계를 텍스트로 생성하게 하여 복잡한 판단 근거를 드러내는 프롬프트 기법이다. 입력에 대해 단계적 추론을 유도한 뒤 최종 판단을 얻어 라벨 품질과 일관성을 개선하는 데 사용된다. 라벨 부트스트랩이나 고품질 교사 레이블 생성에서 근거를 확보하는 수단으로 중요하다.
- 코헨의 카파(Cohen's Kappa)
- — Cohen's Kappa는 두 평가자 간 일치도를 기댓값 대비 조정해 측정하는 통계적 척도이다. 가중치를 둔 형태는 등급 차이에 따라 불일치의 심각도를 반영하므로 라벨 선택·정제에서 유용하다. 대규모 자동 라벨링 시스템에서 신뢰할 만한 레이블을 추출할 때 기준으로 활용된다.
언급된 도구
LoRA추천
파라미터 효율적 임베딩/모델 파인튜닝
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 06. 13.수집 2026. 06. 28.출처 타입 REDDIT
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
