LLM이란 무엇인가? — LLM 양자화 시리즈 Part 1

대형 언어 모델은 뉴런처럼 작동하는 파라미터의 거대한 배열로 시작한다. 입력 텍스트는 토큰으로 변환되고 컨텍스트 윈도우라는 한계 안에서 처리되며, Transformer의 어텐션은 모든 토큰 간 관계를 한꺼번에 파악한다. 자회귀 생성으로 토큰 하나씩 출력되며, KV 캐시는 이전 계산을 재사용해 속도와 비용을 절감한다. 스케일링은 성능 향상과 함께 emergent behavior를 불러오지만, 그에 따른 데이터·컴퓨트 요구도 커진다는 점이 핵심이다. 이때 RAG 같은 보강 기술과 하드웨어 최적화가 추론 효율에 큰 영향을 미친다. 결국 대형 모델의 실용성은 파라미터 규모, 데이터 양, 그리고 추론/학습 인프라의 조합에 달려 있다.