실제 웨어러블 건강 추론을 재는 WearableQA

왜 중요한가

기존 건강 벤치마크는 정적 텍스트나 시험형 문항에 치우쳐 한 사용자의 장기 생체 기록에서 수치를 계산하고 건강 맥락으로 해석하는 능력을 충분히 측정하기 어려웠습니다. WearableQA는 실제 사용자의 잡음과 개인차를 유지한 채 10지선다 문항을 구성해, LLM이 원시 시계열에서 근거를 산출하는지와 여러 신호를 통합하는지를 분리해서 평가합니다.

핵심 기여

실제 사용자 기록 기반 4,084문항 벤치마크

200명의 실제 사용자에게서 최대 500일의 일별 웨어러블 측정값, 17개 혈액 바이오마커, 인구통계 정보를 결합해 4,084개의 10지선다 문항을 구성했습니다. 웨어러블 장치 잡음과 사용자 간 변이를 유지해 합성 시계열과 다른 평가 조건을 만들었습니다.

문헌·코호트 패턴을 결합한 정답 생성

동료심사 문헌의 생리학적 관계와 대규모 코호트에서 통계적으로 확인한 패턴을 함께 사용했습니다. 각 관계를 개인별 측정값에 결정적 계산으로 다시 적용해, 사전에 정한 답을 복사하는 대신 실제 기록에서 정답을 산출했습니다.

16개 유형의 진단적 분류 체계

문항을 데이터 추론과 건강 추론, 단일 신호와 교차 신호라는 두 축으로 나누고 총 16개 유형으로 세분화했습니다. 추세·이상 구간·회복 시간 같은 수치 계산과 위험 평가·표현형·감별 진단 같은 생리학적 해석을 구별할 수 있습니다.

14개 LLM의 세부 성능 평가

독점 모델과 open-weight 모델 14개를 같은 입력·평가 절차로 비교했습니다. 정확도는 10% 무작위 기준선 대비 19.6%에서 72.9%까지 분포했으며, 대부분 모델은 60% 미만에 머물렀습니다.

핵심 아이디어 이해하기

일반적인 LLM은 텍스트 토큰 사이의 관계와 학습된 지식을 이용하지만, 웨어러블 건강 추론에서는 먼저 여러 날의 측정값에서 필요한 통계적 사실을 계산해야 합니다. 예를 들어 안정시 심박수의 추세나 특정 기준선에서 벗어난 기간을 원시 기록으로부터 찾아야 하며, 그 결과를 혈액 수치와 인구통계 맥락에 연결해야 합니다. 지식을 알고 있는 것과 개인 기록에서 근거를 산출하는 것은 다른 능력입니다.

WearableQA는 이 차이를 데이터 추론과 건강 추론으로 나눕니다. 데이터 추론은 입력된 시계열에서 추세, 이상, 회복 시간, 신호 간 관계를 계산해 답을 얻고, 건강 추론은 계산된 신호를 예후, fitness, 표현형, 감별 진단 같은 생리학적 의미로 해석합니다. 따라서 모델이 건강 상식은 알고 있지만 수백 일의 수치를 제대로 집계하지 못하는 경우를 별도로 판별할 수 있습니다.

두 번째 축은 단일 신호와 교차 신호입니다. 단일 신호 문항은 한 지표를 독립적으로 읽지만, 교차 신호 문항은 활동량·심박수·수면처럼 둘 이상의 기록을 같은 사용자 맥락에서 결합해야 합니다. 연구진은 문헌 근거 또는 코호트에서 발견한 관계를 계산 그래프로 바꾸고, 입력값 → 통계 연산 → 선택지 판정의 순서로 정답을 만들었습니다. 이 구조가 질문마다 같은 입력에 같은 답이 나오는 재현성을 보장합니다.

방법론

WearableQA의 입력은 200명 사용자의 16개 일별 웨어러블 지표, 최대 500일의 기록, 17개 혈액 바이오마커, 나이·성별·BMI·인종 정보로 구성됩니다. 심폐 체력, 활동·에너지, 수면, 스트레스 영역을 포함하며, 안정시 심박수·걸음 수·심박변이도·수면 시간·수면 효율에는 더 큰 코호트에서 계산한 기준 백분위도 붙습니다. 질문은 10개 선택지로 작성되고 정답 위치는 전체 문항에서 균등하게 배치되어 무작위 기준선은 10%입니다.

질문 근거는 문헌 기반과 모집단 기반으로 나뉩니다. 문헌 기반 문항은 웨어러블 노출과 임상 결과를 실제 코호트에서 계산할 수 있는 관찰 연구를 선별하고, 11개 기준 논문을 원문 수준으로 확인한 뒤 같은 방향의 독립 연구가 두 편 이상 뒷받침하는 관계만 사용했습니다. 모집단 기반 문항은 28일 창에서 시간 추세, 이상 구간, 회복 양상, 교차 신호 관계를 찾고 효과 크기, 강건성, 진위성 검사를 통과한 패턴만 채택했습니다.

모집단 패턴은 상관 절댓값이 0.5 이상이고 28일 창의 양쪽 절반에서 부호가 일관되어야 했습니다. 비교 문항은 1위 선택지가 2위보다 최소 0.15 앞서야 하며, 30회 bootstrap 중 80% 이상에서 재현되고 어느 하루를 제거해도 유지되어야 했습니다. 사용자 쌍을 의도적으로 섞은 null test에서는 관측 prevalence 대비 false-discovery rate가 0.20 이하인 패턴만 남겼습니다. 이는 우연한 단일 사용자 현상이나 경계값 하나에 의존하는 답을 줄이는 절차입니다.

각 추론 목표는 lagged_correlation(max_lag=3), argmax_pair(), threshold_flags(glucose, HbA1c, TG, HDL, HOMA_IR) 같은 재사용 가능한 계산 primitive의 조합으로 표현됩니다. 예를 들어 strongest-pair 문항은 후보 신호쌍을 최대 ±3일 지연 범위에서 비교한 뒤 가장 큰 관계를 가진 쌍을 선택하고, 혈액 상태 문항은 바이오마커별 기준 초과 여부를 flag로 바꿔 상태를 결정합니다. 문헌 기반 사례에서 안정시 심박수 상승은 최근 28일 평균보다 1.5 표준편차 이상 높은지로 판정하며, 정의되지 않거나 모호한 사용자는 제외합니다.

각 질문에는 정답 하나와 오답 9개가 들어갑니다. 데이터 추론의 오답은 반대 추세, 인접 시간 창, 잘못된 크기처럼 계산 가능한 대안으로 만들고, health reasoning의 오답은 같은 생리학적 관계에서 나온 그럴듯하지만 개인 측정값과 맞지 않는 해석으로 만듭니다. 이후 중복 제거, 선택지 균형, 누출 점검, GPT-5.4·Gemini-3.1-Pro·Claude-Opus-4.6의 모델 검토와 사람 검증을 거칩니다.

주요 결과

14개 모델의 전체 정확도는 Llama-3.2-3B의 19.6%부터 Gemini-3.1-Pro의 72.9%까지였습니다. Gemini-3.1-Pro는 Claude-Opus-4.6의 60.2%보다 12.7%포인트 높았고, open-weight 모델 중 최고인 Gemma-4-26B-A4B는 42.5%로 GPT-4o의 34.7%보다 높았지만 최고 독점 모델보다 30.4%포인트 낮았습니다. 대부분 모델이 60% 미만이어서 벤치마크가 아직 충분히 해결되지 않은 상태입니다.

대부분 모델은 health reasoning보다 data reasoning에서 낮았습니다. 예를 들어 GPT-4o는 25.3% 대 53.5%, Gemma-4-26B-A4B는 33.8% 대 59.8%, Mistral-Small-3.1은 20.0% 대 47.9%였습니다. 예외인 Gemini-3.1-Pro는 data reasoning 75.4%, health reasoning 67.8%를 기록했습니다. 교차 신호도 어려워 GPT-5.4는 단일 신호 59.1%에서 교차 신호 45.7%로 하락했지만, Gemini-3.1-Pro는 72.4%와 73.2%로 비슷한 수준을 유지했습니다.

Chain-of-thought는 여러 모델의 성능을 높였으며 Claude-Opus-4.6에서는 단일 신호 최대 27포인트, 교차 신호 최대 14포인트의 향상이 있었습니다. 반면 open-weight 모델의 평균 향상은 단일 신호 +2.3포인트, 교차 신호 +3.0포인트였습니다. GPT-5.4에 Python 계산 접근을 허용한 agentic 설정은 전체 정확도를 51.2%에서 71.3%로 높였고, 단순히 CSV나 시각 자료로 표현을 바꾸는 방식은 최대 51.9% 수준의 제한적인 변화에 그쳤습니다.

모델은 익숙한 정의적 신호쌍보다 실제 사용자 데이터에서 찾아야 하는 경험적 신호쌍을 더 잘 처리하지 못했습니다. Gemini-2.5-Pro는 두 유형 사이에 51.5포인트, GPT-5.4는 48.2포인트, GPT-4o는 36.0포인트의 차이를 보였습니다. 또 Llama-3.2-3B는 direct answer에서 특정 선택지를 51.5% 고르는 위치 편향을 보였지만 chain-of-thought에서는 최대 선택지 빈도가 13.5%로 낮아졌습니다.

기술 상세

평가 프로토콜은 각 모델에 사용자별 최근 최대 500일의 웨어러블 이력을 행 단위로 제공하고, 필요한 경우 혈액 바이오마커·인구통계·코호트 기준값을 함께 입력합니다. 모델은 기본적으로 chain-of-thought 후 하나의 선택지 식별자를 출력하며, 연구진은 이를 결정적 정답과 비교해 정확도와 95% Wilson confidence interval을 계산합니다. 파싱 불가나 빈 응답은 오답으로 처리합니다.

계산 primitive는 질문의 의미를 실행 가능한 연산으로 변환합니다. strongest-pair는 각 신호쌍의 지연 상관을 최대 3일 지연까지 계산한 뒤 argmax_pair()로 선택하고, 혈액 상태는 glucose, HbA1c, TG, HDL, HOMA_IR에 threshold_flags()를 적용해 임계값 초과 플래그를 합산합니다. 문헌 기반 기준선은 개인의 최근 28일 평균과 표준편차를 사용하며, 안정시 심박수는 최근 평균보다 1.5 표준편차 이상 높은 경우 상승 상태로 판정합니다.

입력 표현을 바꾼 실험에서 GPT-5.4의 행 단위 기준 정확도는 51.2%였고 CSV는 51.5%, Markdown과 요약 통계는 51.9%였습니다. image-grid는 36.6%, image-grouped는 34.1%로 낮아 단순 시각화가 계산 문제를 해결하지 못했습니다. 반대로 동일한 행 단위 입력에 Python 접근을 부여한 agentic fixed-repr은 71.3%에 도달했으며, 모델이 여러 표현 중 하나를 고르는 multi-view는 69.7%로 추가 이득을 만들지 못했습니다.

시계열을 모두 제거하면 전체 정확도가 Claude-Opus-4.6 기준 60.2%에서 17.3%로 떨어졌고, 창 의존 문항은 58.1%에서 13.7%로 하락했습니다. 장기 history만 제거했을 때는 history-dependent 문항이 75.9%에서 39.8%로 낮아졌지만 window-dependent 문항은 58.1%에서 58.0%로 거의 유지됐습니다. 이 선택적 성능 저하는 문항이 관련 웨어러블 기록에 실제로 근거해야 한다는 점을 확인합니다.

실무 활용

WearableQA는 장기 웨어러블 기록을 입력으로 받는 health assistant, 시계열 추론 모듈, 의료·생활습관 AI의 평가 세트로 활용할 수 있습니다. 특히 원시 측정값 계산, 개인 기준선 비교, 여러 신호 결합, 건강 해석을 분리해 평가하므로 모델 교체나 도구 사용 전후의 병목을 구체적으로 확인하는 데 적합합니다.

웨어러블 기반 health assistant의 장기 기록 추론 성능 평가
시계열 데이터를 Python으로 계산하는 agentic workflow의 도구 사용 효과 비교
단일 신호와 교차 신호를 분리한 LLM 평가 및 회귀 테스트
혈액 바이오마커·인구통계·웨어러블 신호를 결합하는 개인화 건강 시스템의 검증

코드 공개 여부: 공개

코드 저장소 보기

키워드

WearableQA(웨어러블 건강 추론 벤치마크)LLM(대형 언어 모델)Cross-Signal Reasoning(교차 신호 추론)Longitudinal Time Series(종단 시계열)Dual-Grounding Framework(이중 근거 프레임워크)Agentic Evaluation(에이전트 평가)Health Reasoning(건강 추론)

용어 해설

종단 시계열(Longitudinal Time Series): — 한 사용자의 생체·행동 신호를 여러 날에 걸쳐 반복 측정한 데이터입니다. WearableQA에서는 최대 500일의 일별 웨어러블 기록을 입력으로 사용해 추세, 이상 구간, 회복 시간처럼 시간 축에 의존하는 질문의 정답을 계산합니다.
교차 신호 추론(Cross-Signal Reasoning): — 두 개 이상의 생리·행동 신호를 함께 읽어 관계나 건강 의미를 판단하는 추론 방식입니다. 예를 들어 활동량과 안정시 심박수의 결합을 사용자별 기록에서 찾아야 하므로, 단일 신호보다 여러 시계열의 정렬과 통합이 필요합니다.
이중 근거 프레임워크(Dual-Grounding Framework): — 질문의 근거를 동료심사 문헌과 대규모 코호트에서 통계적으로 확인한 패턴으로 나누는 구축 방식입니다. 문헌의 생리학적 관계와 실제 사용자 데이터에서 발견한 관계를 각각 결정적 계산으로 개인 기록에 적용해 정답을 만듭니다.
발견 후 라벨링(Discover-Then-Label): — 먼저 문헌 또는 코호트에서 추론 목표를 정한 뒤, 각 사용자의 원시 측정값에 실행 가능한 계산을 적용해 답을 부여하는 절차입니다. 동일한 입력에는 동일한 답이 나오므로 질문 생성과 평가를 재현할 수 있습니다.
에이전트 평가(Agentic Evaluation): — 모델이 시계열을 직접 읽는 데 그치지 않고 Python 같은 계산 도구를 호출해 통계량을 산출하도록 평가하는 방식입니다. WearableQA에서는 행 단위 입력과 Python 접근을 결합했을 때 GPT-5.4의 전체 정확도가 51.2%에서 71.3%로 상승했습니다.

실제 웨어러블 건강 추론을 재는 WearableQA

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

LLM 심판의 누락 탐지 한계

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

LLM 심판의 누락 탐지 한계