Prototype-Guided MIL 및 Counterfactual Perturbation을 활용한 로그 이상 탐지 및 인스턴스 로컬라이제이션

대규모 로그 시스템에서 인스턴스 단위 라벨링은 비용이 많이 든다. MIL은 가방 단위 레이블로 학습할 수 있지만, 노이즈·고주파 패턴에 의한 로컬라이제이션 오염과 해석의 불투명성이 남는다. 본 연구는 prototype와 counterfactual perturbation를 도입해 로컬라이제이션의 신뢰성과 해석 가능성을 높여 실무 적용 가능성을 높인다.

단계1: 로그 시퀀스를 윈도우 단위의 bag으로 분할하고 각 로그 엔트리를 instance로 취급한다. 단계2: 두-layer Transformer 인코더를 통해 각 인스턴스의 맥락 표현을 얻고, N개의 learnable prototype 벡터와의 유사도(si,j=1/(1+di,j))를 계산한다. 단계3: 각 인스턴스의 최대 프로토타입 유사도 mi를 구하고 bi=1−mi로 anomaly-candidate bias를 형성한다. 단계4: 가방 수준 특징으로 Mbag, Ebag, Vbag를 계산하고 Fp로 결합해 yhat를 산출한다. 단계5: key 인스턴스를 제거하는 perturbation를 만들어 Porig와 Ppert를 비교하고 Lcon으로 consistency를 강제한다. 이로써 어텐션 기반 Localization의 신뢰성과 해석 가능성을 확보한다.

단락1: 전체 접근 방식과 핵심 아이디어. 로그 윈도우를 Bag으로 간주하고, 각 Bag의 인스턴스 임베딩에 선형 투영 및 Transformer 인코더를 적용하여 Z를 얻는다. 단락2: Prototype-guided Representation Learning. N개의 prototype 벡터 P를 도입하고, ẑi와 p̂j 사이의 Euclidean distance를 di,j로 계산한 뒤 si,j=1/(1+di,j)로 유사도를 얻는다. 각 인스턴스의 mi=maxj si,j를 구하고 bi=1−mi를 정의한다. Bag 차원에서 Mbag, Ebag, Vbag를 계산하고 Fp를 구성해 yhat를 예측한다. 단락3: Enforcing Perturbation Consistency. 가장 높은 주의 점 i*를 제거한 X̃를 통해 Ppert를 얻고 Porig−Ppert의 감소 폭과 Δc를 이용해 Lcon을 계산한다. 단락4: 학습 목표. Focal Loss를 기본 분류 손실로 사용하고 Lproto, Lattn, Lcon을 가중합해 Ltotal을 얻는다. 단락5: 지역화 규칙. 양성 Bag에 대해 가장 낮은 엔트로피를 가진 어텐션 헤드를 선택하고 top-k 인스턴스를 Loc@k로 평가한다.

단락1: 벤치마크에서의 bag-level 성능. BGL에서 AUC 0.9464, Precision 0.9264, Recall 0.9421, F1 0.9342; Spirit에서 AUC 0.9652, Precision 0.9194, Recall 0.9040, F1 0.9295; ZooKeeper에서 AUC 0.9964, Precision 0.9964, Recall 0.9970, F1 0.9967이다. 이들 수치는 모든 비교 기준에서 우수하거나 최고 수준이며 F1-스코어의 양호한 향상을 보인다.

단락1: 전체 아키텍처는 Input & Encoding, Prototype-Guided Multi-Head & Perturbation, Interpretability & Consistency의 3축으로 구성된다. 단락2: 수학적 근거로 ẑi=Wx+b 이후 Ψ를 거쳐 Zi를 얻고, di,j=||ẑi−p̂j||2, si,j=1/(1+di,j)로 유사도를 정의한다. 최대 유사도 mi=maxj si,j, bi=1−mi로 anomaly-candidate bias를 얻는다. 단락3: Prototype 통계는 Mbag=maxi mi, Ebag=Entropy(mi), Vbag=Mean(mi)로 구성되며 Fp에 결합한다. 단락4: Lcon은 Porig−Ppert가 Δc를 넘지 않도록 설계되며, Lcls로 Focal Loss를 사용하고 Lproto, Lattn, Lcon을 합쳐 Ltotal을 얻는다. 단락5: Loc@k는 positive Bag에서 가장 낮은 엔트로피 헤드를 선택한 뒤 상위 k개의 인스턴스를 후보로 삼아 평가한다.

논문은 노이즈가 많은 데이터에 대한 강건성 검증은 제한적이라 명시적으로 언급한다. Incremental prototype 업데이트를 통한 온라인 학습, 대규모 사전학습 로그 표현과의 심층적 통합, 교차 도메인 일반화에 대한 실험은 향후 연구 과제로 남아 있다.