RealICU: 현실 ICU 환경에서 LLM을 평가하기 위한 hindsight 주석 벤치마크

ICU 데이터는 긴 시간 축의 임상 흐름과 시간 제약 속 의사결정이 얽혀 있어, 기존 벤치마크의 ground-truth가 항상 최적의 의사결정을 반영하지 않는다. RealICU는 전체 환자 트래젝토리를 의사 검토 후 주석처리하여 LLM의 순차적 의사결정 능력을 현실적 조건에서 평가할 수 있게 한다. 네 가지 의사결정 과제를 정의하고, 두 개의 라벨링 파이프라인(의사 리뷰 기반 Gold 라벨링, Oracle-LMM hindsight 라벨러)을 통해 신뢰성 있는 ground-truth를 제공한다. 이로써 기억 기반 모델의 한계와 안전성 문제를 다각도로 분석하고, 장기 추론 능력을 강화하는 방향을 제시한다.

단락 1. ICU 데이터 스트림은 길고 복합적이며, 의사 결정은 불완전한 현재 맥락에서 이뤄진다. 일반적인 LLM 벤치마크는 과거 행위를 ground-truth로 삼지만, 이 ground-truth는 실제 임상 상황의 불완전성 및 시점 의존성으로 인해 최적의 의사결정을 반영하지 못하는 경우가 많다. 따라서 순차적 의사결정 평가의 신뢰성을 높이기 위해 hindsight 기반 라벨링이 필요하다. 단락 2. RealICU는 전체 환자 궤적을 의사들이 검토한 뒤 주석을 다는 hindsight 벤치마크로, 네 가지 의학적 목표에 대한 평가를 가능하게 한다. 윈도우 구간은 30분으로 고정하고 RealICU-Gold와 RealICU-Scale 두 데이터세트를 제공한다. 단락 3. 네 가지 과제는 환자 상태 평가, 급성 문제 탐지, 권고된 조치, 안전 위험 신호를 포함한다. 이는 LLM의 단기적 예측뿐 아니라 긴 기간에 걸친 의사결정 맥락을 요구한다. 단락 4. ICU-Evo는 구조화된 메모리 에이전트를 도입한 memory-augmented 시스템으로, 장기 추론 능력을 일부 향상시키지만 안전성 문제를 완전히 제거하진 못한다. RealICU는 이러한 한계와 개선점을 체계적으로 측정하는 clinically-grounded 테스트베드를 제공한다.

단계 1: 데이터 파이프라인은 MIMIC-IV 코호트를 기반으로 하며, 코호트 샘플링과 30분 윈도우 discretization으로 Raw Dataset을 생성한다. 단계 2: 윈도우 선택은 action density 기반으로 수행되며, Physicans Anno.과 RealICU-Gold를 통해 Ground Truth를 확보한다. RealICU-Scale은 Oracle 라벨러로 추가적인 hindsight 라벨링을 제공한다. 단계 3: 네 가지 의사결정 과제는 Patient Status, Acute Problems, Recommended Actions, Red Flags로 정의된다. 단계 4: 벤치마크에 대해 memory-augmented LLM, ICU-Evo 등 여러 에이전트를 평가한다. 단계 5: 평가 지표는 정확도/발견도 등 과제별로 측정되며, 안전성 이슈와 장기 추론 문제를 함께 분석한다. 단계 6: 실험 프로토콜은 공개 데이터 세트 및 라벨링 방식의 재현성을 확보하고, 벤치마크 절차를 문서화한다.

실험 결과 RealICU에서 LLM 기반 메모리 증가 모델은 추론 성능이 기대만큼 향상되지 못했고, recall-safety 트레이드오프와 anchoring bias가 두드러졌다. ICU-Evo는 장기 맥락 추론에서 일부 개선을 보였으나 안전성 관련 실패를 완전히 제거하지 못했다. RealICU-Gold와 RealICU-Scale 간의 차이는 Ground Truth의 신뢰도 및 커버리지가 다름에서 기인하며, RealICU는 고정된 30분 윈도우에서도 현실적 의사결정 부담과 맥락 의존성을 반영한다. 실험은 네 가지 태스크에 걸친 전반적 성능 차이를 보여주며, 향후 메모리 관리 및 안전성 보강의 필요성을 부각한다.

단락 1: RealICU의 아키텍처 구성은 RealICU-Gold, RealICU-Scale, ICU-Evo로 구성된다. 단계별 데이터 파이프라인은 MIMIC-IV 데이터에서 코호트를 뽑고 30분 윈도우로 구간화하며 Ground Truth를 의사 리뷰 기반으로 생성한다. 단계별 라벨은 Patient Status, Acute Problems, Recommended Actions, Red Flags를 포함한다. 단계 2: Ground Truth 생성은 수석 의사들이 전체 궤적을 검토하고 hindsight 라벨링으로 각 윈도우에 경향성/상태 정보를 부여한다. 단계 3: ICU-Evo는 memory-augmented 구조로, 외부 메모리에서 과거 상태를 재검색해 긴 의사결정 맥락에 대한 추론을 보조한다. 단계 4: 평가 방식은 각 과제에 대한 정확도/정합성 및 안전성 평가를 포함하고, anchoring 및 recall-safety tradeoff를 분석한다. 단계 5: 수학적 기반은 후향 라벨링을 통한 ground-truth 확정과 장기 맥락 관리를 위한 구조적 메모리의 활용으로 요약된다.

제한점으로, RealICU 벤치마크는 단일 ICU 데이터셋(MIMIC-IV) 기반이며, 다기관 일반화에 대한 추가 검증이 필요하다. 라벨링은 의사 리뷰에 의존하므로 주관적 편향의 가능성이 있다. 네 가지 과제 외의 추가 태스크 확장이 필요할 수 있으며, ICU-Evo의 안전성 개선 여지도 한계가 존재한다.