SANSARA: 오프라인 우선 온디바이스 AI 웰니스 컴패니언 아키텍처

섹션별 상세

PyTorch 모델을 torch.export()로 캡처하고 torchao를 통해 4비트 양자화(QLoRA)를 적용한 뒤 ExecuTorch로 컴파일하여 .pte 바이너리를 생성한다. iOS의 CoreML과 Android의 QNN 하드웨어 백엔드를 활용하며, Speculative Decoding을 통해 추론 속도를 2.2~3.6배 향상시켰다. Llama 3.2 1B 모델 기준 약 1.5GB의 RAM을 점유하며 모바일 기기에서 원활하게 작동한다.

text

PyTorch model → torch.export() # Capture computational graph
→ torchao quantization # 4-bit via SmoothQuant / SpinQuant
→ ExecuTorch lowering # Hardware backend delegation
→ .pte binary # Ahead-of-time compiled artifact

PyTorch 모델을 온디바이스용 .pte 바이너리로 변환하는 컴파일 파이프라인

9개의 에이전트가 직접 통신하는 대신 공유 가변 상태 객체인 'Blackboard'를 통해 소통하는 아키텍처를 채택했다. Matrix Router라는 100M 미만 파라미터의 분류 모델이 입력을 분석하여 2-4개의 적합한 에이전트를 선택한다. 선택된 에이전트들은 제안(Propose), 비판(Critique), 정제(Refine) 과정을 반복하는 컨센서스 루프를 통해 최종 응답을 도출하며, 이는 선형적인 체인 방식의 컨텍스트 저하 문제를 해결한다.

json

Blackboard = {
  raw_input: string,
  prosody_vector: float[],
  emotion_vector: float[192],
  biometric_state: { steps, light, hrv, sleep },
  history_embeds: float[][], // HNSW nearest neighbors
  agent_proposals: Proposal[],
  agent_critiques: Critique[],
  consensus_state: "pending" | "converged",
  final_response: string | null
}

에이전트들이 공유하여 사용하는 Blackboard 객체의 데이터 구조

Whisper(음성), MLKit(안면 인식), HealthKit(생체 데이터)을 결합하여 통합 컨텍스트 벡터를 생성하는 멀티모달 퓨전 레이어를 갖추고 있다. 데이터는 ObjectBox 4.0과 HNSW 벡터 인덱스를 사용하여 로컬에 저장되며, 5년 주기 계층화(Hot/Warm/Cold) 메모리 모델을 통해 효율적으로 관리된다. 모든 데이터는 AES-256 방식으로 암호화되어 기기 내부에만 머무른다.

기기가 충전 중이거나 유휴 상태일 때 MLX Swift(iOS) 또는 ExecuTorch(Android)를 사용하여 온디바이스 LoRA 파인튜닝을 수행한다. 2~5M 개의 파라미터만 학습시켜 10~50MB 크기의 어댑터를 생성하며, 사용자의 피드백 세션과 대화 품질 신호를 바탕으로 모델을 개인화한다. 또한 ARIMA 알고리즘을 사용하여 로컬 감정 벡터의 72시간 Mood trajectory를 예측하고 선제적인 조치를 취한다.

용어 해설

엑시큐토치(ExecuTorch): — Meta에서 개발한 PyTorch 모델의 온디바이스 추론용 런타임이다. 모바일 및 에지 기기에서 모델을 효율적으로 실행하기 위해 연산 그래프를 캡처하고 하드웨어 가속기(ANE, GPU 등)에 최적화된 바이너리를 생성한다.
블랙보드 패턴(Blackboard Pattern): — 여러 독립적인 에이전트가 공유된 메모리 공간(Blackboard)을 통해 데이터를 읽고 쓰며 협업하는 소프트웨어 설계 패턴이다. 에이전트 간 직접적인 통신 없이도 복잡한 문제를 해결할 수 있어 시스템의 유연성과 확장성을 높인다.
투기적 디코딩(Speculative Decoding): — 가벼운 초안 모델이 여러 토큰을 미리 예측하고, 주 모델이 이를 한 번에 검증하여 텍스트 생성 속도를 높이는 기술이다. 주 모델의 연산 횟수를 줄여 온디바이스 환경에서 추론 지연 시간을 획기적으로 단축한다.
계층적 내비게이블 스몰 월드(HNSW): — 고차원 벡터 데이터에서 유사한 항목을 빠르게 찾기 위한 그래프 기반 인덱싱 알고리즘이다. 계층적 구조를 통해 대규모 데이터셋에서도 낮은 지연 시간으로 근사 최근접 이웃(ANN) 검색을 수행할 수 있다.
저순위 적응(LoRA): — 대규모 언어 모델의 전체 가중치를 수정하는 대신, 저순위 분해 행렬만을 학습시켜 모델을 효율적으로 파인튜닝하는 기법이다. 학습 파라미터 수를 0.1% 수준으로 줄여 온디바이스 환경에서도 개인화 학습이 가능하다.

기술

Llama 3.2
ExecuTorch
React Native 0.84
ObjectBox 4.0
MLX Swift
Whisper
Google ML Kit

활용 사례

오프라인 AI 웰니스 챗봇
프라이버시 강화형 개인 비서
온디바이스 멀티모달 데이터 분석

언급된 리소스

문서SANSARA App Info

GitHubExecuTorch GitHub