광섬유 네트워크에서 LLM 추론을 수행하는 Project LightSwitch 아키텍처

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

Project LightSwitch는 중앙 집중식 데이터 센터로 데이터를 보내지 않고, 광섬유 네트워크와 스위칭 장비를 활용해 데이터 전송 중에 LLM 추론을 수행하는 실험적 소프트웨어 및 하드웨어 아키텍처이다. 1.58비트 양자화와 광학 위상 간섭을 사용하여 부동 소수점 곱셈을 제거하고, 기존 GPU 서버 대비 에너지 소비를 95~98% 절감한다. Mamba와 같은 상태 공간 모델을 통합하여 Softmax 병목 현상을 해결하며, AMD Xilinx FPGA나 Intel Tofino 2와 같은 상용 하드웨어로 즉시 배포가 가능하다.

섹션별 상세

기존 AI 인프라는 데이터를 중앙 데이터 센터의 GPU로 전송하여 처리하는 Von Neumann 병목 구조를 가진다. Project LightSwitch는 광섬유, 스위칭 캐빈, 위성 레이저 링크를 통과하는 데이터 패킷 내에서 직접 연산을 수행하여 GPU 메모리 병목을 제거하고 전송 지연을 최소화한다.

python

python3 app.py

대화형 가이드 및 챗봇 인터페이스 실행

bash

python3 -m unittest discover tests

자동화된 테스트 스위트 실행

모델 가중치를 1.58비트(-1, 0, 1)로 양자화하여 부동 소수점 곱셈을 광학적 위상 간섭을 활용한 가산 연산으로 대체한다. 또한 Mamba와 같은 선형 상태 공간 모델을 통합하여 기존 트랜스포머의 O(N²) 복잡도를 가진 Softmax 연산 없이 추론을 처리한다.

이 아키텍처는 AMD Xilinx UltraScale+ FPGA나 Intel Tofino 2 P4 스위치 같은 상용 하드웨어(COTS)를 기반으로 구현된다. 3년 총소유비용(TCO) 분석 결과, 기존 NVIDIA H100 서버 대비 에너지 소비와 운영 비용을 90% 이상 절감하는 효율성을 보인다.

용어 해설

인네트워크 컴퓨팅(In-Network Computing): — 데이터가 네트워크 스위치나 라우터를 통과하는 동안 연산을 수행하여 데이터 이동을 최소화하는 기술이다. 중앙 서버로 데이터를 보내지 않고 네트워크 경로상에서 즉시 처리하여 지연 시간을 줄인다.
1.58비트 양자화(1.58-bit Quantization): — 모델 가중치를 -1, 0, 1의 세 가지 값으로 제한하는 기법이다. 부동 소수점 곱셈 연산을 단순한 가산 연산으로 대체하여 하드웨어 효율을 극대화한다.
상태 공간 모델(State-Space Models): — 시퀀스 데이터를 처리할 때 RNN과 유사한 재귀적 구조를 사용하는 모델 아키텍처이다. 트랜스포머의 Softmax 연산 병목을 해결하여 긴 문맥 처리에 유리하다.

기술

AMD Xilinx UltraScale+
Intel Tofino 2
Mamba
RWKV

활용 사례

LLM Inference
In-Network Computing

언급된 리소스

GitHubProject LightSwitch GitHub Repository