O(N) 복잡도를 달성한 비-어텐션(Non-attention) LLM 아키텍처 (오픈 소스)

새로운 접근 방식에 대해 흥미롭다는 반응이 많으며, 특히 온디바이스 활용 가능성과 스케일링 효율성에 대한 기술적 토론이 이어지고 있습니다.

• 저사양 하드웨어에서 LLM 실험을 하려는 경우 해당 오픈소스 코드를 활용해볼 수 있음
• 긴 시퀀스 데이터 처리가 필요한 특정 도메인에서 컨볼루션 기반 아키텍처의 효율성을 테스트해볼 가치가 있음

셀프 어텐션(Self-Attention)

— 입력 데이터의 각 부분이 서로 어떤 관련이 있는지 계산하는 메커니즘이다. Transformer의 핵심이지만 시퀀스 길이에 따라 연산량이 제곱으로 증가하는 한계가 있다. 이를 제거하면 연산 효율을 획기적으로 높일 수 있다.

인과적 컨볼루션(Causal Convolution)

— 미래의 정보를 참조하지 않고 과거와 현재의 데이터만을 사용하여 특징을 추출하는 필터링 기법이다. 시계열 데이터나 텍스트 처리에서 순차적인 정보를 보존하며 연산 복잡도를 낮추는 데 기여한다.

KV 캐시(KV Cache)

— LLM 추론 시 이전 토큰들의 Key와 Value 행렬을 저장해 재계산을 방지하는 기술이다. 메모리 점유율이 높아 긴 문맥 처리의 병목이 되는데, 이를 제거하면 메모리 효율이 극대화된다.