이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
대규모 Language Model 추론 결과를 바이트 단위로 재현하고, 각 출력을 canonical CBOR와 Ed25519 서명으로 묶어 오프라인에서 검증하는 프로토콜입니다. NVIDIA H100과 AMD Instinct MI300X에서 구성별 결정론성을 측정했으며, 2-GPU tensor-parallel에서는 NCCL과 RCCL 통신 topology 차이에 따른 해시 차이도 확인했습니다. 표본 재실행 검증은 1−(1−f )k soundness 형태로 제시됐고 70개 구성과 700,000회 Monte Carlo trial로 검증됐으며, 영수증 하나의 검증 비용은 약 80마이크로초였습니다. 11,000회 연속 warm-model 추론에서 바이트 동일성 실패가 없었고 zero-knowledge proof 없이 생산 비용 수준의 결과 검증을 목표로 합니다.
섹션별 상세
대규모 Language Model 추론은 GPU 실행 순서와 집단 통신 방식의 차이 때문에 동일한 입력에서도 결과 재현성을 입증하기 어려운 문제가 있습니다. 제안된 프로토콜은 추론 결과를 바이트 단위로 고정하고 그 결과를 휴대 가능한 서명 영수증에 연결해, 실행 후에도 출력의 동일성과 출처를 따로 확인하도록 구성됩니다. 이 primitive는 특정 발행자나 하드웨어 공급업체를 신뢰하지 않고도 생산 환경의 추론 결과를 점검하려는 목적을 가집니다.
추론 substrate는 NVIDIA H100에서 최대 720억 개의 dense parameter와 470억 개의 active mixture-of-experts parameter를 처리하며 AMD Instinct MI300X로 확장됩니다. 새 프로세스를 실행할 때마다 출력 해시가 바이트 단위로 일치했고, 단일 GPU bf16 eager attention 설정에서는 AMD와 NVIDIA 사이에서도 51개가 넘는 연속 생성 토큰의 해시가 같았습니다. 반면 2-GPU tensor-parallel 설정에서는 NCCL ring과 RCCL fabric all-reduce topology 차이 때문에 두 장치의 해시가 달라졌지만 각 환경 내부에서는 모두 결정론적으로 유지됐습니다.
영수증은 domain-separated message에 대한 Ed25519 서명과 canonical CBOR schema로 구성되며 Go·Python·Rust에서 구현됐습니다. 세 언어 구현 사이의 바이트 동일성이 end-to-end로 확인됐고, AMD에서 만든 영수증도 x86 NVIDIA 하드웨어에서 실행한 Rust verifier를 통과했습니다. 따라서 검증자는 원래 추론 장비와 다른 환경에서도 동일한 직렬화 결과와 서명을 재계산해 영수증을 확인할 수 있습니다.
전체 영수증을 재실행하지 않는 probabilistic spot-check verifier는 일부 영수증을 다시 계산하고 불일치가 나오면 즉시 거부합니다. 글은 오류 비율을 f, 표본 수를 k로 둘 때 soundness가 1−(1−f )k 형태로 표현된다는 lemma를 제시하고, 70개 adversary-verifier configuration과 700,000회 Monte Carlo trial로 이를 검증했습니다. 단일 코어 기준 영수증 하나의 검증 비용은 약 80마이크로초이며, warm model을 사용한 11,000회 연속 추론에서는 바이트 동일성 실패가 한 번도 발생하지 않았습니다.
이 구성의 핵심은 zero-knowledge proof 없이도 AI 추론 결과에 대한 issuer-independent fabrication soundness를 생산 비용 수준에서 제공하는 데 있습니다. 다만 tensor-parallel 환경에서는 통신 topology가 달라질 때 장치 간 해시가 달라질 수 있으므로, 결정론성은 모든 하드웨어 조합의 동일한 출력이 아니라 각 측정 구성 안에서의 재현성으로 정의됩니다. 결과적으로 서명 영수증은 추론 결과의 오프라인 검증과 장비 간 실행 차이의 명시적 기록을 함께 가능하게 합니다.
용어 해설
- 결정론적 추론(Deterministic Inference)
- — 같은 모델과 실행 설정에서 동일한 입력을 처리할 때 매번 바이트 단위로 같은 출력을 생성하는 추론 방식입니다. 프로세스 재시작이나 하드웨어 환경이 달라져도 결과 일치 여부를 해시로 확인할 수 있어, 모델 출력의 재현성과 사후 검증에 중요합니다.
- 서명된 영수증(Signed Receipt)
- — 추론 결과와 관련 메타데이터를 정규화한 뒤 암호학적 서명으로 묶은 검증 자료입니다. 수신자는 원래 추론 시스템에 다시 접속하지 않고도 영수증의 서명과 출력 해시를 확인해 결과가 변조되지 않았는지 판단할 수 있습니다.
- 정규 CBOR(Canonical CBOR)
- — CBOR 데이터를 하나의 표준 바이트 표현으로 직렬화하는 방식입니다. 필드 순서와 인코딩이 달라져 서명 대상 바이트가 달라지는 문제를 줄이며, Go·Python·Rust 구현 사이에서 동일한 서명과 검증 결과를 만드는 기반으로 쓰입니다.
- Ed25519
- — 공개키 기반 전자서명 알고리즘으로, 이 글에서는 정규화된 영수증 메시지에 서명하는 데 사용됩니다. 발행자가 생성한 서명은 검증자가 공개키로 확인할 수 있어, 추론 결과와 영수증의 연결성을 오프라인에서 판정하게 합니다.
- 확률적 표본 검사 검증(Probabilistic Spot-Check Verification)
- — 전체 추론을 모두 재실행하지 않고 영수증 중 일부를 표본으로 골라 다시 계산하는 검증 방식입니다. 불일치가 발견되면 거부하고, 표본 수와 오류 비율에 따라 검출 확률이 1−(1−f )k 형태로 증가해 낮은 비용으로 대규모 결과를 점검합니다.
기술
- NVIDIA H100
- AMD Instinct MI300X
- bf16
- eager attention
- NCCL
- RCCL
- canonical CBOR
- Ed25519
- Go
- Python
- Rust
- Monte Carlo
활용 사례
- 생산 환경에서 Language Model 추론 결과의 오프라인 검증
- 하드웨어 공급업체와 무관한 추론 결과 위변조 점검
- 서로 다른 구현 언어 사이의 영수증 검증
- 대규모 추론 결과에 대한 저비용 표본 검사
언급된 리소스
GitHubocx-protocol
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 08. 26.수집 2026. 08. 26.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
