Meta Ray-Ban 안경을 활용한 오픈소스 응급처치 가이드 시스템 FirstSight

실용적 조언

실시간 영상 분석 시 모든 프레임을 추론하기보다 게이팅 메커니즘을 통해 유의미한 프레임만 선별하면 연산량을 대폭 절감할 수 있다.
rPPG 구현 시 단일 알고리즘보다 CHROM/POS 앙상블을 사용하면 피부색 변화에 따른 오차를 줄일 수 있다.

섹션별 상세

안면 마비 감지 모델은 EfficientNet-B0 ONNX를 기반으로 하며 AUROC 0.985의 높은 정확도를 달성했다. 입력 영상 프레임에서 비대칭 게이팅(Asymmetry-gated) CNN 구조를 사용하여 마비 징후가 없는 약 70%의 프레임에 대해서는 추론을 건너뛰도록 설계했다. 이를 통해 실시간 스트리밍 환경에서 연산 자원을 효율적으로 관리하면서도 뇌졸중의 핵심 지표인 FAST를 정확히 식별한다.

비접촉식 심박수 측정(rPPG)을 위해 CHROM과 POS 알고리즘의 SNR 앙상블 기법을 도입했다. 다양한 피부색에 적응적으로 대응하기 위해 신호 대 잡음비(SNR)를 기준으로 가중치를 조절하며, 고조파 가중 FFT 피크 선택 방식을 통해 심박 신호의 정확도를 높였다. 신생아 모드에서는 전체 프레임 ROI 폴백 기능을 제공하여 다양한 사용자 환경에서도 안정적인 측정이 가능하다.

응급처치 안내는 Gemini Live 음성 에이전트와 JRCALC 2022 임상 가이드라인 기반의 GraphRAG 시스템을 결합하여 제공된다. 사용자가 안경을 통해 보고 있는 상황을 분석한 결과와 전문 의료 지식 그래프를 대조하여 실시간으로 정확한 음성 지침을 출력한다. FastAPI와 React를 활용한 백엔드 및 프론트엔드 구조로 지연 시간을 최소화하여 긴급 상황에 대응하도록 구축되었다.

용어 해설

원격 광혈류 측정(rPPG): — 카메라를 통해 피부 표면의 미세한 색상 변화를 감지하여 심박수를 비접촉식으로 측정하는 기술이다. 혈류량 변화에 따른 빛의 흡수율 차이를 분석하여 심박 신호를 추출하며, 웨어러블 기기 없이도 생체 신호를 모니터링할 수 있어 의료 및 헬스케어 분야에서 중요하다.
ROC 곡선 아래 면적(AUROC): — 이진 분류 모델의 성능을 평가하는 지표로, 1에 가까울수록 모델의 판별 능력이 뛰어남을 의미한다. 위양성률 대비 진양성률의 관계를 나타내며, 데이터 불균형 상황에서도 모델의 전반적인 분류 성능을 객관적으로 측정할 수 있는 척도이다.
개방형 신경망 교환(ONNX): — 서로 다른 AI 프레임워크 간에 모델을 공유하고 실행할 수 있도록 지원하는 공통 포맷이다. PyTorch나 TensorFlow에서 학습된 모델을 최적화된 런타임 환경에서 실행할 수 있게 하여 하드웨어 가속 및 배포 효율성을 극대화한다.
그래프 검색 증강 생성(GraphRAG): — 지식 그래프 구조를 활용하여 관련 정보를 검색하고 답변을 생성하는 RAG의 발전된 형태이다. 단순 텍스트 검색을 넘어 개체 간의 관계를 파악함으로써 복잡한 임상 가이드라인과 같은 구조적 데이터에서 더 정확하고 맥락에 맞는 답변을 도출한다.

언급된 도구

FastAPI추천

백엔드 API 서버 구축

MediaPipe추천

안면 및 신체 특징점 추출

EfficientNet-B0추천

안면 마비 감지를 위한 경량 이미지 분류 모델

Gemini Live추천

실시간 음성 대화 인터페이스 제공

언급된 리소스

GitHubsafishamsi/FirstSight GitHub Repository