BEACON: 학습용 행동 지문을 위한 다중 모달 데이터셋

고강도 게임 환경에서의 미세한 제스처와 상호작용 패턴은 고유한 생체 신호를 제공한다. BEACON은 Mouse dynamics, Keystroke dynamics, 네트워크 트래픽, 화면 녹화, 하드웨어 맥락을 동기화한 대규모 다중 모달 데이터셋으로, 연속 인증과 사용자 프로파일링을 위한 벤치마크를 제공한다. 기존 데이터셋의 unimodal/제한적 맥락 문제를 해소하고, 강건한 다중 모달 융합 모델 개발에 기여한다.

출발점: 기존 연구는 단일 모달 신호나 짧은 세션의 로그에 의존해 고정된 보안 가정을 제시해왔다. 이로 인해 고강도 환경에서의 미세한 차이를 포착하기 어렵고, 환경 맥락 간의 상호작용을 학습하기 어렵다. BEACON은 고주파의 센서모터 입력(mouse)과 비선형 키 입력, 네트워크 트래픽, 화면 컨텍스트, 하드웨어 정보를 절대시간 기준으로 동기화해 서로 다른 모달리티 간의 정확한 정합을 보장한다. 1단계로 4개의 동시 스트림(Keyboard, Mouse, Network, Screen Recording, Hardware Context)을 시간 스탬프 기준으로 맞춰 모달리티 간의 시계열 정합을 가능하게 한다. 2단계로 33개의 엔지니어링 피처를 도출해 모델에 입력하고, 6개 WF 아키텍처를 적용해 28-class 식별 태스크를 수행한다. 3단계에서 마우스 다이나믹스는 연산 밀도가 높아 개별적 생체서명을 강하게 구분하고, 60초 윈도우에서 Macro-행동과 Micro-반응의 조합이 안정적 식별에 기여한다. 4단계의 융합 실험은 모달 간 보완성을 활용해 최종 식별 정확도와 EER를 개선한다. BEACON의 주요 시사점은 고정밀 멀티모달 신호의 융합이 연속 인증의 현실적 적용에 필요한 안정성과 강인성을 제공한다는 점이다.

• 전체 접근: 4-모달리티 실시간 로깅과 다중 세션 수집으로 BEACON 데이터셋 구축; 1) 초기화 및 동의: Consent Form → Consent Granted 기록 → Timestamped Data Folder 생성. 2) 정적 데이터 수집: hardware_info.json, valorant config 등 환경 컨텍스트 수집. 3) 동적 모듈: Keyboard, Mouse, Network, Screen Recording으로 분리된 스래이브 스레드에서 이벤트를 수집. 4) 시간동기화: POSIX 타임스탬프를 이용해 모든 모듈의 이벤트를 절대 시간 기준으로 정렬, 교차모달 융합 가능. 5) 업로드 파이프라인: chunked HTTPS 전송, OAuth 인증, 서버 측 검증 및 MySQL 로그로 무결성 관리. 6) 피처 엔지니어링: 33개 피처를 Window(10/30/45/60s)로 추출. 7) Baseline: ARES, BAPM, NetCLR, TCN, TMWF, Var-CNN으로 28-class 식별 학습. 8) 데이터 제한: PCAP/비디오를 Baseline에서 제외하고 모달리티 간 융합은 후속 연구로 남김. "어떤 값을 입력으로, 어떤 계산을 거쳐, 어떤 결과를 얻고, 그 값의 의미"를 따라 수학적 또는 알고리즘적 의사결정을 설명한다; 예를 들어 CrossEntropyLoss는 각 샘플에 대해 -log p(y|x)를 계산하고, 이를 배치 평균으로 줄여 학습 업데이트를 수행한다. 피처의 정의와 각 모델의 설정은 Appendix에 자세히 기재되어 있다.

주요 결과는 28-class 식별 태스크에서 모달별 성능으로 정리된다. Mouse Only에서 63.16%의 최고 식별 정확도는 10초 윈도우의 Var-CNN에서 달성되었고, Keyboard Only의 경우 60초 윈도우에서도 낮은 성능을 보인다(예: ARES 60초: 22.63%, BAPM 60초: 22.90%, NetCLR 60초: 22.80%, TCN 60초: 19.61%, TMWF 60초: 32.66%, Var-CNN 60초: 24.35%). Combined(Mouse + Keyboard) 설정에서 Var-CNN이 60초 윈도우로 70.82%의 최고 정확도, 4.31%의 최저 EER, d′ 3.192, AUC 0.911를 달성한다. Baseline 간 차이로는 키보드의 제한성과 마우스의 고정보밀도가 확인되며, 60초 윈도우에서 Combined 구성이 가장 강력한 식별 성능을 제공한다. 데이터의 윈도우 길이가 늘수록 d′가 증가하고, 모델의 글로벌 최적화가 확인된다. 이러한 결과는 마우스 다이나믹스의 높은 정보밀도와 다중 모달 융합의 시너지를 나타낸다.

• 데이터 수집 아키텍처: BEACON 로거는 이벤트 기반 기록으로 Keyboard, Mouse, Network, Screen Recording 스트림을 각 사용자별로 time-stamped 출력 폴더(data_[timestamp])에 저장한다. - 학습 및 피처 엔지니어링: 33개 엔지니어링 피처를 4개의 타임 윈도우(10s, 30s, 45s, 60s)에서 추출. 피처 목록은 Table 3에 상세히 정의되어 있다. - Baselines: ARES, BAPM, NetCLR, TCN, TMWF, Var-CNN; 입력 시퀀스 길이는 1024 토큰으로 패딩/트렁케이셔닝. - 학습 세팅: Optimizer=Adam, lr=1e-3, 배치크기=32, epochs=30, 데이터 분할은 시간 순으로 80% 학습, 10%는 학습 분할의 10%를 검증으로, 남은 20%를 테스트로 사용. - 데이터 배포 및 윤리: HuggingFace BEACON-Dataset에 익명화된 버전 배포; Zenodo에 로거 코드 공개. - 성능 지표: Accuracy, EER, d′, ROC-AUC, 4개의 윈도우에서 6개 모델의 성능 비교. - 제약: PCAP/비디오 데이터는 Baseline에서 제외되어 있으며, 대상은 Valorant 윈도우즈 플랫폼에서의 FPS 게임 특성에 한정되어 있다.

BEACON의 한계로는 (i) 28명의 참가자, 단일 게임타이틀 Valorant, Windows 플랫폼 중심의 실험 구성으로 일반화에 한계가 있다. (ii) 멀티모달 baselines에서 PCAP 및 비디오 모듈은 벤치마크에 포함되지 않았다. (iii) longitudinal(장기 추적)에 의한 행동 drift 연구가 미비하다. (iv) 분류 문제를 중심으로 한 식별 벤치마크이며, 다른 운영체제/게임으로의 전이성에 대한 검증 필요성이 있다.