컴퓨터 과학 컨퍼런스는 비부인 가능(nonrepudiable) 실험 결과를 요구해야 한다

ML 연구에서 재현성 문제는 구조적이며, 체크리스트나 코드 공유만으로는 결과의 진실성을 보장하기 어렵다. 논문은 결과 수치를 실제 실행과 결합하는 독립적 검증 체계를 구축해야 한다고 주장한다. 이는 연구의 신뢰성 향상과 재현성 검증의 효율성 개선에 기여한다.

출발점: 실험 수치를 논문 본문에만 의존하면 변조나 은폐가 가능하므로, 수치를 특정 실행에 바인딩하는 기록이 필요하다. 제시된 원리의 기저는 디지털 다이제스트와 서명을 이용한 무결성 확보, 그리고 실행 컨텍스트(코드/구성/하드웨어)와 수치를 독립적으로 확인 가능한 attestations에 연결하는 것이다. 해결 방식은 독립적 검증 서비스가 서명을 생성하고, 연구자는 이 서명을 신뢰 가능한 공개 키를 통해 검증할 수 있게 하는 체계이다. 기존의 체크리스트나 아티팩트 평가가 코드가 작동하는지 여부를 확인하는 데에 그치는 반면, 본 논문은 수치가 실제 실행으로부터 산출되었는지 직접 확인할 수 있는 근거를 제공한다. 구현 예시로 K-Veritas가 제시되며, 실행 흐름은 init → run → seal의 세 단계로 구성된다. 로깅 로그를 사용하되, 로그의 무결성은 실행 시점에 seal로 고정되며, 전체 세션에 대한 canonical digest를 생성하고 RSA-PSS-SHA256으로 서명한다.

단락 1: 전체 접근 방식과 핵심 아이디어 - 독립적으로 검증 가능한 attestation으로 결과를 바인딩하는 프로토콜의 기본 골격을 제시한다. 단락 2: 핵심 메커니즘/알고리즘 - 코드/구성/하드웨어 환경의 다이제스트를 생성하고, stdout/stderr 기록과 런타임 텔레메트리, 환경 다이제스트를 결합해 세션 다이제스트를 만든다. 단락 3: 학습 전략/구현 세부 - K-Veritas의 OS 차원의 래퍼(observer) 작동 방식, 실행 전후 소스 해시, 하드웨어 샘플링, 64자 다이제스트 전송, RSA-PSS 서명, PDF 보고서 생성의 흐름을 설명한다. 단락 4: 이론적 기반 및 보안성 분석 - 데이터-블라인드 처리, 실행 바인딩, tamper-evidence, 독립적 검증의 연관성 및 한계(OS/hardware 공격의 한계)를 기술한다.

단락 1: 주요 벤치마크 결과 - Table 3의 두 실행(RoBERTa-base SST-2 및 Keras LSTM Synthetic)을 그대로 제시한다. Keras LSTM(Synthetic): GPU NVIDIA GeForce RTX 5060 Ti, CPU Intel Xeon W-2145 @ 3.70GHz (16 cores), Training duration 6 seconds, Final train loss 1.065107, Final val accuracy 0.315, HMC score 0.80, verdict PASS. RoBERTa-base (SST-2): GPU NVIDIA GeForce RTX 5060 Ti, CPU Intel Xeon W-2145 @ 3.70GHz (16 cores), Training duration 41 minutes, Final train loss 0.272340, Final val accuracy 0.913, HMC score 0.96, verdict PASS. 단락 2: Ablation study - 본문에 별도의 ablation 연구 보고 없음. 단락 3: 효율성/비용 분석 - 실행 시간 및 자원 사용에 대한 요약은 제공되나, 구체적 효율성 수치 비교는 제시되지 않음.

단락 1: 아키텍처 구성 - observer(chromed) 없이 독립 실행형 binary가 OS 레벨에서 작동하며, author의 코드 수정 없이 기존 명령어를 래핑한다. 단락 2: 핵심 메커니즘의 수학적/알고리즘적 기반 - 세션 다이제스트는 source files 해시, stdout 스트림, parsed metrics, hardware samples, environment digest를 포함해 계산되고, 공개키 기반으로 서명된다. 단락 3: Prior work 대비 차별점 - 체크리스트/artifact evaluation은 실행-결과 바인딩을 보장하지 못하는 반면, K-Veritas는 실행에 대한 무결한 증거를 제공한다. 단락 4: 구현/학습 세부 - 3단계 워크플로우(init/run/seal), stdout 비차단 읽기, 주기적 하드웨어 샘플링, RSA-PSS-SHA256 4096비트 서명, 서명된 PDF 보고서 및 소스 zip 아카이브 생성.

논문이 명시한 한계점으로, 소프트웨어-만으로는 OS/hardware 차원의 공격에 대해 완전한 방어를 할 수 없고, 하드웨어 기반의 attestations가 필요할 수 있으며, attestation 서비스의 보안 및 운영 관리 이슈가 남아 있다. 또한 연구자들의 컴플라이언스 여부에 따라 채택 여부가 달라질 수 있다.