본문으로 건너뛰기
AI Trends
피드
트렌딩
커뮤니티
공지
로그인
피드
트렌딩
커뮤니티
공지
바이트 쌍 인코딩 (byte-pair-encoding) 용어 설명 | AI Trends
byte-pair-encoding
바이트 쌍 인코딩
중급
가장 빈번하게 등장하는 바이트 쌍을 반복적으로 병합하여 어휘 사전을 구축하는 알고리즘입니다. 언어 특성에 맞는 맞춤형 토크나이저를 학습시킬 때 주로 사용됩니다.
비슷한 개념
bpe
bpe-tokenizer
byte-level-tokenizer
tokenizer-transfer
autoencoding
character-level-tokenization
tokenization
bi-encoder
← 용어 사전 전체 보기