섹션별 상세
전통적인 LDA 방식은 단어의 순서를 무시하는 Bag-of-Words 구조로 인해 문맥 파악에 한계가 있었다. BERTopic은 SentenceTransformers를 사용하여 문서를 밀집 벡터로 변환함으로써 단어 간의 의미적 관계와 문맥을 보존한다. 이를 통해 'NASA'와 '우주 탐사'처럼 직접적인 단어 중복이 없어도 유사한 주제로 묶을 수 있다. 문맥 기반 임베딩은 실제 데이터에 존재하는 복잡한 언어 패턴을 포착하는 핵심 동력이다.
고차원 임베딩 데이터는 거리 계산이 복잡해져 클러스터링 성능이 저하되는 '차원의 저주' 문제를 겪는다. BERTopic은 UMAP 알고리즘을 파이프라인에 통합하여 데이터의 국소적 구조를 유지하면서 차원을 효과적으로 축소한다. 실제 구현 시 n_neighbors와 n_components 파라미터를 조정하여 데이터의 특성에 맞는 최적의 투영 공간을 확보할 수 있다. 차원 축소는 클러스터링의 계산 효율성과 정확도를 동시에 높이는 필수 전처리 단계이다.
사전에 토픽 개수를 지정해야 하는 K-Means와 달리 BERTopic은 밀도 기반의 HDBSCAN을 사용하여 데이터 스스로 토픽 수를 결정하게 한다. 이 알고리즘은 데이터의 밀집도를 분석하여 자연스러운 군집을 형성하고, 어느 군집에도 속하지 않는 노이즈를 -1 레이블로 분리한다. 이를 통해 억지로 토픽에 할당되어 발생하는 분석 오류를 방지하고 결과의 신뢰성을 높인다. 데이터의 자연스러운 구조를 발견하는 것은 탐색적 데이터 분석에서 매우 중요하다.
python
umap_model = umap.UMAP(
n_neighbors=2,
n_components=2,
min_dist=0.0,
metric="cosine",
random_state=42,
init="random"
)데이터의 차원을 축소하여 클러스터링 효율을 높이기 위한 UMAP 모델 설정 예시
군집화된 문서들로부터 사람이 이해할 수 있는 주제명을 도출하기 위해 클래스 기반 TF-IDF(c-TF-IDF)를 사용한다. 특정 군집 내에서의 단어 빈도와 전체 군집에서의 출현 빈도를 비교 계산하여 해당 토픽만의 독창적인 키워드를 선별한다. 수식적으로는 단어 빈도(TF)와 역 클래스 빈도(ICF)를 곱하여 최종 가중치를 산출하는 방식을 취한다. 이 과정을 통해 추출된 키워드는 분석가가 토픽의 내용을 직관적으로 파악할 수 있게 돕는다.
python
hdbscan_model = hdbscan.HDBSCAN(
min_cluster_size=2,
metric="euclidean",
cluster_selection_method="eom",
prediction_data=True
)유사한 문서를 그룹화하기 위한 밀도 기반 클러스터링 HDBSCAN 설정 예시
용어 해설
- 토픽 모델링(Topic Modeling)
- — 대규모 문서 집합에서 숨겨진 주제(토픽)를 발견하는 텍스트 마이닝 기법입니다. 단어의 통계적 분포나 의미적 유사성을 분석하여 유사한 내용의 문서들을 그룹화하고 각 그룹을 대표하는 키워드를 추출하는 방식으로 작동합니다.
- 클래스 기반 TF-IDF(c-TF-IDF)
- — 전통적인 TF-IDF를 클래스(토픽) 단위로 확장한 기법입니다. 특정 토픽 내에서 자주 등장하면서도 다른 토픽에는 잘 나타나지 않는 단어에 높은 가중치를 부여하여, 각 토픽을 가장 잘 설명하는 핵심어를 추출하는 데 사용됩니다.
- 계층적 밀도 기반 클러스터링(HDBSCAN)
- — 데이터의 밀도를 기반으로 군집을 형성하는 알고리즘입니다. 군집의 개수를 미리 지정할 필요가 없으며, 데이터의 노이즈와 이상치를 효과적으로 식별하여 군집 품질을 높이는 특성이 있습니다.
- 문장 트랜스포머(SentenceTransformers)
- — 문장이나 문단을 고정된 크기의 밀집 벡터(Embedding)로 변환하는 모델입니다. 문맥적 의미를 수치화하여 컴퓨터가 문장 간의 유사도를 계산할 수 있게 하며, BERTopic의 문서 임베딩 단계에서 핵심 역할을 수행합니다.
기술
- BERTopic
- SentenceTransformers
- UMAP
- HDBSCAN
- Python
- scikit-learn
활용 사례
- 고객 상담 로그 주제 분석
- 뉴스 기사 자동 카테고리 분류
- 학술 논문 트렌드 파악
- 소셜 미디어 여론 모니터링
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 04. 11.수집 2026. 04. 11.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
