트리거 임계값의 온라인 제어: 대형 하드론 충돌기에서의 강화학습 적용

대용량 실험 환경에서는 실시간으로 이벤트를 필터링해야 하며 대역폭과 지연 제약 때문에 잘못된 임계값은 희귀 신호를 놓치게 만든다. 본 연구는 임계값을 고정한 수작업 튜닝 대신 스트리밍 관측을 입력으로 받는 강화학습 정책으로 임계값을 연속적으로 조정하여 배경율 제약을 유지하면서 신호 효율을 개선했다. 그 결과 시뮬레이션에서뿐만 아니라 CMS 실제 충돌 데이터에 무튜닝으로 전이할 때도 유의한 In-band 개선을 관찰하여 실전 운영 적용 가능성을 보여주었다.

온라인 트리거 튜닝 문제는 임계값 하나가 배경 허용률과 신호 수집에 직접적인 영향을 주는 연속 제어 문제이다. 기존 수동 보정이나 PID 방식은 스칼라 오차에 반응하는 구조여서 배경 분포의 비선형적 변화나 국소 민감도(∂r/∂c)의 급변을 진단할 수 없다. 이로 인해 작은 임계값 변경이 큰 비율 변동을 초래하는 구간에서 과잉 보정이나 불안정한 동작이 발생한다.

에이전트는 길이-K 윈도우로 요약된 물리 피처(h_t, d=19)와 현재 임계값 및 직전 변화량을 상태로 받아들인다. 행동은 임계값의 이산적 증가량 Δc_t이며 다음 청크에 적용된 임계값으로 배경 수용률 r_B(c_{t+1})과 신호 수용률 ε_i(c_{t+1})을 평가하여 보상을 산출한다. 보상은 세 항목으로 구성되어 즉시 반응의 비율 추적 항(term for rate tracking), 신호 효율 항(신호 가중합), 및 큰 움직임을 억제하는 벌칙(move penalty)을 합성한 형태로 설계되어 정책이 안정성과 물리적 유틸리티를 동시에 고려하도록 유도한다.

시뮬레이션(MC) 실험에서 GFPO-F와 GFPO-FR은 In-band 비율과 전체 신호 효율 측면에서 기존 기법을 능가했다. 구체적으로 MC 스트림에서 HT 트리거의 인-토러런스 구간 비율을 48% 증가시키고 AD 트리거에서 28% 증가시켰으며, 인-밴드 구간에 한정한 신호 효율은 누적 최대 2% 개선을 달성했다. CMS 실데이터 Run 283408로의 무튜닝 전이에서는 HT에서 56%·AD에서 28%의 In-band 개선이 보고되었고 GFPO 변형이 시뮬레이션에서 학습한 정책을 실제 운영 조건으로 성공적으로 전이시켰다.

전체 아키텍처는 시퀀스 인코더와 정책 네트워크로 구성되어 있으며 상태 벡터는 최근 K 이벤트의 점수 분포 요약, 파일업(N_PV) 등 문맥 피처, 현재 임계값 및 이전 변화량으로 이루어진다. 정책은 소프트맥스 기반 확률 정책으로 행동 후보를 그룹 샘플링(G 후보)하고 각 후보의 윈도우 레벨 보상을 평가하여 그룹 내 정규화로 이득(advantage)을 계산하는 GRPO 계열을 사용했다. 핵심 수학적 설계는 보상 R_t^k = λ1·rate_tracking + (1−λ1)·signal_efficiency − λ2·move_penalty의 합으로, 여기서 rate_tracking은 |r_{t+1}−r_B^*|/τ의 제곱 또는 선형 항으로 구간 내·외를 구분하여 즉시 페널티를 부여한다. 입력-처리-출력 관점에서 보면 입력은 후보 임계값과 최근 윈도우의 이벤트들, 처리는 각 후보에 대한 백그라운드·신호 수용률 계산 및 보상 합산, 출력은 보상 정규화 후 정책 파라미터의 그래디언트 업데이트이다.

본 연구는 각 트리거마다 단일 스칼라 임계값을 제어하는 단일-임계값 설정에 한정되어 있어 여러 트리거 항목 간의 공동 최적화 문제는 다루지 않았다. 논문에서 사용한 평가 데이터는 CMS Open Data(특정 Run)에 기반하므로 ATLAS나 LHCb 등 다른 실험 환경으로의 일반화는 확인되지 않았다. 또한 보상 혼합 계수 α 및 허용폭 τ 같은 하이퍼파라미터 선택이 결과에 민감할 수 있으며 논문은 이들에 대한 그리드 탐색을 통해 실험적 설정을 확보했다.