hllm

계층적 대형 언어모델(HLLM)은 시퀀스 내 서로 다른 수준의 컨텍스트 표현을 분리해 처리하고 상위 계층에서 하위 계층의 출력을 결합해 다음 항목을 예측하는 구조이다. 입력 시퀀스가 먼저 로컬 토큰 수준에서 인코딩되고 그 결과가 상위 계층의 요약 토큰으로 집계된 뒤 cross-layer 연산으로 결합되어 최종 추천 점수가 산출되는 처리 흐름을 따른다. HLLM은 긴 사용자 행동 이력에서 지역 패턴과 장기 의도를 동시에 포착하는 목적에서 설계된 점이 특징이다.