인과적 언어 모델
이전 토큰들을 기반으로 다음 토큰을 예측하는 방식의 언어 모델이다. 주로 텍스트 생성 작업에 사용되며, 정보가 과거에서 미래로만 흐르도록 마스킹 처리가 되어 있다. 대부분의 현대적인 생성형 AI 모델이 이 방식을 따른다.
9B 파라미터로 100만 토큰 처리? 새로운 하이브리드 모델의 등장