본문으로 건너뛰기

AI Trends

매일 업데이트되는 글로벌 소스의 AI/ML 뉴스를 수집하고 한국어로 요약합니다.

둘러보기

피드 트렌딩 커뮤니티 공지사항 일자별 아카이브

탐색

기술 태그 AI 용어 사전

서비스

서비스 소개 문의

정책

운영 정책 개인정보 처리방침 이용약관

© 2026 AI Trends. All rights reserved.후원

피드 트렌딩 커뮤니티 탐색 보관함

홈 트렌딩 커뮤니티 보관함 프로필

mwe-tokenizer

MWETokenizer

중급

다중단어 표현을 토큰 단위에서 하나의 토큰으로 결합하도록 하는 NLTK 도구로, 도메인 용어를 벗어나지 않는 벡터화에 필요한 핵심 기능이다.

비슷한 개념

tokenization multi-vector-retrieval bpe-tokenizer dynamic-subword-tokenizer subword multi-vector-representation tokenizer-transfer multimodal-tokenization

← 용어 사전 전체 보기