본문으로 건너뛰기

피드 트렌딩 커뮤니티 공지사항 기술 태그 AI 용어 사전 서비스 소개 문의 운영 정책 개인정보 처리방침

매일 업데이트되는 글로벌 소스의 AI/ML 뉴스를 수집하고 한국어로 요약합니다.

AI Trends·후원

피드 트렌딩 커뮤니티 공지

피드 트렌딩 커뮤니티 공지

토큰 분포 (token-distribution) 용어 설명 | AI Trends

token-distribution

토큰 분포

고급

모델이 다음 단어를 예측할 때 각 후보 단어(토큰)에 할당하는 확률의 분포이다. 이 분포의 형태에 따라 모델의 답변이 얼마나 창의적이거나 정확할지가 결정된다.

비슷한 개념

token-probability probabilistic-sequence-predictor token-prediction token-level-entropy probabilistic-token-prediction decoding token-generation token-entropy

← 용어 사전 전체 보기