token-probability
주어진 문맥에서 다음에 올 가장 적절한 단어나 문자의 확률을 계산하는 방식이다. 현재 LLM이 문장을 생성하는 핵심적인 통계적 메커니즘이다.
통계적 확률일 뿐? LLM이 직면한 구문론의 한계와 천문학적 비용 문제