본문으로 건너뛰기

피드 트렌딩 콜로세움 공지사항 기술 태그 AI 용어 사전 서비스 소개 문의 운영 정책 개인정보 처리방침

매일 업데이트되는 글로벌 소스의 AI/ML 뉴스를 수집하고 한국어로 요약합니다.

AI Trends·후원

피드 트렌딩 콜로세움 공지

피드 트렌딩 콜로세움 공지

토큰 인덱스 (token-index) 용어 설명 | AI Trends

token-index

토큰 인덱스

입문

텍스트를 토큰 단위로 나누었을 때 각 토큰이 시퀀스 내에서 가지는 고유한 순서 번호로, 기존 모델은 이를 기반으로 위치 정보를 파악한다.

비슷한 개념

tokenization token causal-llm tokenizer positional-encoding multimodal-tokenization token-fertility character-level-tokenization

← 용어 사전 전체 보기