Meta Ray-Ban 안경을 활용한 오픈소스 응급처치 가이드 시스템 FirstSight

해커톤 수상작의 오픈소스 전환에 대해 긍정적인 반응이며, 특히 웨어러블 기기를 활용한 실시간 의료 보조 기술의 구현 방식에 높은 관심을 보이고 있다.

• 실시간 영상 분석 시 모든 프레임을 추론하기보다 게이팅 메커니즘을 통해 유의미한 프레임만 선별하면 연산량을 대폭 절감할 수 있다.
• rPPG 구현 시 단일 알고리즘보다 CHROM/POS 앙상블을 사용하면 피부색 변화에 따른 오차를 줄일 수 있다.

• Meta Ray-Ban 안경의 실시간 영상 스트림을 활용하여 비접촉 방식으로 심박수와 안면 비대칭을 동시에 모니터링할 수 있다.
• 비대칭 게이팅 CNN 기법을 적용하여 불필요한 추론을 70% 줄임으로써 엣지 디바이스 환경에서의 실시간 처리 효율을 극대화했다.
• 임상 가이드라인에 GraphRAG를 적용하여 단순 검색보다 신뢰도 높은 의료 조언을 Gemini 음성 에이전트를 통해 사용자에게 전달한다.