이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
Hugging Face Hub는 300만 개의 모델과 100만 개의 데이터셋을 1400만 명의 사용자에게 제공하며, 15ms 이하의 검색 지연 시간을 유지하기 위해 고도화된 인프라를 구축했다. 메타데이터는 MongoDB Atlas에 저장하고 모델 아티팩트는 S3에 분리하여 컴퓨팅 리소스를 독립적으로 확장한다. 검색 성능은 Apache Lucene 기반의 Atlas Search를 통해 최적화되었으며, 7노드 MongoDB 클러스터와 분석 전용 노드를 통해 트래픽을 분산한다. 인프라 확장은 Kubernetes HPA와 CastAI를 통해 이루어지며, KEDA를 도입하여 요청 큐 기반의 이벤트 중심 오토스케일링을 구현함으로써 리소스 효율성을 극대화했다.
챕터별 상세
00:00
Hugging Face Hub의 확장과 인프라 구축의 필요성
Hugging Face Hub는 300만 개의 공개 모델과 100만 개의 데이터셋을 관리하는 세계 최대 규모의 AI 커뮤니티이다. 1400만 명의 사용자가 이용하며, 모델 검색은 플랫폼의 핵심 기능이다. 데이터 규모가 커짐에 따라 기존의 검색 방식은 지연 시간 문제를 겪었다. 이를 해결하기 위해 인프라 아키텍처를 전면적으로 재설계했다.
03:57
검색 성능 최적화와 Apache Lucene 도입
2만 개의 모델 규모에서는 단순 검색이 가능했으나, 300만 개 규모에서는 검색 성능이 급격히 저하되었다. 기존의 정규식 기반 검색은 대규모 데이터셋에서 병목 현상을 유발했다. 이를 해결하기 위해 Apache Lucene을 활용한 풀텍스트 검색을 도입했다. MongoDB Atlas와 결합하여 검색 효율을 대폭 개선했다.
05:46
데이터 아키텍처와 MongoDB Atlas 활용
메타데이터와 모델 아티팩트를 분리하여 저장하는 구조를 채택했다. MongoDB Atlas는 메타데이터를 관리하고, 실제 모델 파일은 S3에 저장한다. 이 방식은 컴퓨팅 리소스를 독립적으로 확장할 수 있게 한다. 검색 요청은 MongoDB Atlas의 $search 연산자를 통해 처리되며, 다운로드 수와 좋아요 수 등을 기준으로 정렬된다.
13:00
데이터베이스 클러스터와 분석 노드 분리
7개의 노드로 구성된 MongoDB 클러스터를 운영한다. 쓰기 작업은 프라이머리 노드에서만 수행하며, 읽기 작업은 여러 노드로 분산한다. 특히 분석 전용 노드를 별도로 두어 무거운 쿼리를 처리함으로써 프로덕션 트래픽에 영향을 주지 않도록 설계했다. 데이터베이스의 부하를 효과적으로 관리하는 핵심 전략이다.
16:42
데이터베이스 샤딩을 통한 수평적 확장
단일 프라이머리 노드의 용량 한계를 극복하기 위해 샤딩을 적용했다. 데이터를 샤드 키를 기준으로 여러 노드에 분산 저장한다. 이를 통해 CPU, 메모리, 스토리지 등 모든 자원을 수평적으로 확장할 수 있다. 데이터 균형은 MongoDB Balancer가 자동으로 수행하여 운영 부담을 최소화한다.
18:14
Kubernetes와 KEDA를 활용한 오토스케일링
애플리케이션 계층은 Kubernetes를 통해 10개에서 500개의 파드로 확장된다. HPA는 CPU와 메모리 사용량을 기준으로 파드를 조절한다. 추가적인 노드 확보는 CastAI가 담당한다. KEDA를 도입하여 요청 큐와 이벤트 루프 활용도를 기반으로 스케일링을 수행함으로써 실제 워크로드에 정밀하게 대응한다.
javascript
db.model.findOne({id: "meta-llama/Llama-3.1-8B", searchTokens: ["metallama", "llama", "3.1", "8B"]})모델 검색을 위한 토큰화된 메타데이터 조회 예시
용어 해설
- 샤딩(Sharding)
- — 데이터베이스를 여러 개의 작은 조각(샤드)으로 나누어 여러 서버에 분산 저장하는 기술이다. 단일 서버의 용량 한계를 극복하고 데이터 처리량을 늘려 대규모 트래픽을 효율적으로 분산 처리하는 데 사용된다.
- Horizontal Pod Autoscaler(HPA)
- — 쿠버네티스에서 CPU나 메모리 사용량 등 지정된 지표를 기반으로 파드(Pod)의 개수를 자동으로 조절하는 기능이다. 트래픽 변화에 따라 리소스를 유연하게 할당하여 서비스 가용성을 유지한다.
- Kubernetes Event-driven Autoscaling(KEDA)
- — 쿠버네티스에서 이벤트 기반으로 파드를 자동으로 확장하는 도구이다. CPU나 메모리뿐만 아니라 메시지 큐, 데이터베이스 등 외부 이벤트 소스의 지표를 모니터링하여 실시간 워크로드 변화에 정밀하게 대응한다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 07. 28.수집 2026. 07. 28.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.