본문으로 건너뛰기

피드 트렌딩 커뮤니티 공지사항 기술 태그 AI 용어 사전 서비스 소개 문의 운영 정책 개인정보 처리방침

매일 업데이트되는 글로벌 소스의 AI/ML 뉴스를 수집하고 한국어로 요약합니다.

AI Trends·후원

피드 트렌딩 커뮤니티 공지

피드 트렌딩 커뮤니티 공지

바이트 쌍 인코딩 (byte-pair-encoding) 용어 설명 | AI Trends

byte-pair-encoding

바이트 쌍 인코딩

중급

가장 빈번하게 등장하는 바이트 쌍을 반복적으로 병합하여 어휘 사전을 구축하는 알고리즘입니다. 언어 특성에 맞는 맞춤형 토크나이저를 학습시킬 때 주로 사용됩니다.

비슷한 개념

bpe bpe-tokenizer byte-level-tokenizer tokenizer-transfer autoencoding character-level-tokenization tokenization bi-encoder

← 용어 사전 전체 보기