LiSA: 보수적 정책 유도를 통한 Lifelong Safety Adaptation

실세계에서 LLM 기반 에이전트가 private data에 접근하고 도구를 호출하는 상황이 늘어나면서 고정된 가드레일의 한계가 드러난다. LiSA는 deployment 환경에서 얻은 드문 실패를 바탕으로 구조화된 메모리로 일반화 가능한 정책 추상화를 만들고, mixed-label 구역에서만 지역 규칙을 보강하여 과도한 일반화 위험을 억제한다. 또한 Beta posterior의 하한을 활용한 증거-기반 재활용으로 메모리의 재사용 시점을 안정적으로 결정한다. 이로써 sparse feedback 하에서도 가드레일의 적응성과 안전성을 동시에 달성한다.

1. 문제 정의: 고정된 가드레일은 배포 환경의 다양한 맥락과 사용자 기대를 모두 반영하기 어렵고, 실패 사례의 라벨은 드물며 노이즈가 존재한다. 따라서 단순 재학습이 불가능한 상황에서 적은 피드백으로도 정책을 개선할 필요가 있다. 2) 해결 원리: LiSA는 online–offline 루프를 통해 드문 실패를 broad policy로 추상화하고, mixed-label 구역에서 conflict-aware local rules를 도입해 경계 정보를 보존한다. 또한 브로드 정책의 표출을 Beta posterior의 lower bound로 게이트링해 신뢰에 기반한 재활용만 허용한다. 3) 달라지는 점: local refinement와 confidence gating의 도입으로, 동일한 broad policy라도 상황에 따라 다르게 작동하도록 관리하며, 희박한 피드백일 때도 안정적으로 성과를 유지한다. 실험에서 LiSA는 PrivacyLens+, ConFaide+, AgentHarm에서 강력한 메모리 기반 베이스라인 대비 일관된 성능 향상을 보였고, 노이즈에도 강건했다. 또한 offline manager의 품질이 성능에 큰 영향을 주며, 이를 통해 메모리 기반 접근의 비용-효율성 이점이 확인된다.

온라인 루프(배포 중 각 입력에 대해 base guardrail과 메모리에서 retrieval)를 통해 의사결정을 수행하고, 오프라인 루프에서 수집된 보고를 바탕으로 broad policy를 InduceBroad(B)로 추상화, M으로 재클러스터링해 memory를 재구성한다. Local 규칙(L_t)은 mixed-label 지역에서만 InduceLocal(B)로 생성되며, 따라서 broad와 local 규칙은 서로 다른 재사용 규칙을 따른다. Conf(ｍ) = Q_δ(Beta(1+s_m,1+c_m))로 정의되는 confidence를 통해 broad memory의 surface 여부를 제어한다. 추론 시, semantically 유사한 아이템을 검색해 broad는 Conf(ｍ) ≥ τ(ℓ_m)로 필터링하고, local rule은 인용 신호로 inference에 함께 제공한다. 만약 아무 규칙도 적용되지 않으면 base guardrail로 FallBack한다. 오프라인 재구성 시에는 새로운 보고를 바탕으로 broad policy를 재군집하고, mixed-label 영역은 지역 규칙으로 보강한다.

주요 벤치마크에서 LiSA가 가장 높은 final-day macro-F1를 달성한다. ρ=0%에서 LiSA의 Final-day macro-F1은 0.962이며, ρ=10%에서 0.933, ρ=20%에서 0.917이다(다른 Baseline 대비 우수). Ablation에서 Local rules 제거 시 F1은 0.931로 감소하고, Conf gate 제거 시 0.959로 감소하며, 두 요소를 모두 제거하면 0.925로 떨어진다. 노이즈(ρ=20%) 하에서도 LiSA는 0.917을 유지하며 ReasoningBank의 0.857보다 높다. Beta quantile 기반 gating으로 No gating(0.854)보다 성능이 향상되며, Beta Quantile의 0.917이 가장 안정적이다. Latency–F1 그래프에서 LiSA는 Oracle에 근접한 프런티어를 형성하기도 하며, 메모리 기반 접근은 backbone 확대보다 더 나은 비용-성능 프로파일을 보여준다.

1. 아키텍처: LiSA는 online guarding with memory(M_t) + local rules(L_t) + offline policy induction으로 구성된다. 2) 메모리 구조: broad policy item m=(r_m, l_m, ν_m) 형식으로 저장되며, M_t={m_j}로 구성된다. 3) 확률적 신뢰도: θ_m ∼ Beta(1+s_m,1+c_m), Conf(m)=Q_δ(Beta(1+s_m,1+c_m)). 4) 재생성 규칙: Offline refresh에서 M은 InduceBroad(B)로 확정/Cluster(M), L은 InduceLocal(B)로 생성. 5) 검색/추론: M_t ∪ L_t에서 Conf(m) ≥ τ(ℓ_m)인 항목만 surfaced. 6) 노이즈 견고성: ρ의 증가에도 LiSA의 성능은 안정적으로 유지되며, Beta-based gating이 노이즈에 강건한 재활용을 가능하게 한다.

벤치마크 시뮬레이션으로 라이브 배포의 특성을 완전히 재현하지 못한다는 한계가 있다. ESL: 영어 데이터셋 중심이며 다국어/문화적 맥락에 대한 일반화는 추가 연구가 필요하다. Threshold Calibrations는 적용 도메인에 따라 달라질 수 있으며, 오프라인 관리자 품질이 성능에 큰 영향을 준다.