이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
법원 사례(Matter of Weber)는 동일한 질의를 세 번 실행해 세 가지 다른 수치가 나온 상황에서 전문가가 어떤 입력을 썼는지 기록하지 못해 신뢰를 잃은 점을 출발점으로 삼는다. 호스트형 LLM은 배치 종속성과 서비스 상태 때문에 비결정적 출력을 흔히 보이며 일부 런타임은 결정적 모드를 제공하지만 처리량 저하라는 비용을 지닌다. 실무적으로는 호출 전 의도 행 기록, 호출·응답 해시의 콘텐츠 주소 보관, 체인화된 해시와 외부 증인에 대한 정기적 제출 같은 패턴으로 증거성을 확보할 수 있으며 SCITT와 서명된 인퍼런스 영수증 같은 외부 증명 수단이 점차 현실화되고 있다.
섹션별 상세
판사가 동일한 질문을 세 번 입력해 세 가지 서로 다른 금액을 받은 사례(Matter of Weber)는 로그가 없을 때 발생하는 법적 취약성을 보여주며, 사건 본문은 증거가 아닌 재현성 결여가 아니라 기록 부재 때문에 문제가 됐다는 점을 강조한다. 구체적으로 판사는 법원 컴퓨터에서 같은 질의를 세 번 실행해 각각 $949,070.97, $948,209.63, 약 $951,000의 결과를 받았고 이 변동성 자체가 증거 신뢰도를 흔들었다. 이 사례는 모델 출력을 재현하는 능력과 호출을 기록해 증명하는 능력이 서로 다른 문제임을 실무적으로 드러낸다.
근거
- 판사가 동일 질문을 세 번 쳐서 각각 $949,070.97, $948,209.63, 약 $951,000의 서로 다른 답을 받았다. — 기사 초반부의 법원 사례 서술(Matter of Weber) — 판사가 세 대의 법원 컴퓨터에서 같은 질의를 실행해 나온 세 결과 금액들.
호스트형 LLM과 공개 API 환경에서 흔히 기대하는 '재현성'은 여러 층위를 가진 개념이며, 실제로는 배치와 서버 상태에 따라 출력이 갈라지는 배치 종속성이 주요 원인으로 지목된다. Thinking Machines Lab의 측정처럼 temperature=0에서도 반복 실행한 수천 번의 완료에서 첫 102 토큰은 동일했지만 그 이후에 80개의 고유한 결과가 관측되는 등 비결정성이 흔하다. 일부 런타임(vLLM, SGLang)에서 결정적 모드를 제공하며 이 모드는 비트 단위 재현을 가능하게 하지만 처리량을 25%에서 최대 66%까지 낮추는 명확한 비용이 따른다.
근거
- 동일 입력을 반복해도 배치 종속성 때문에 출력이 갈라지며, Thinking Machines Lab의 측정에서 temperature=0인 상태로 천 번 실행해 80개의 고유한 결과를 관측했다. — 결정성 문제를 다루는 단락에서 Thinking Machines Lab의 실측치 인용 — 첫 102 토큰은 같고 이후 분기 발생.
- vLLM과 SGLang은 결정적 모드를 제공하며, 결정성 확보는 처리량을 25%~66%까지 낮출 수 있다. — 결정적 커널과 처리량 감소를 설명한 부분 — vLLM과 SGLang의 결정적 모드 노출 및 측정된 처리량 하락 수치.
저자가 구현한 기록 시스템은 단일 팩토리와 캡처 프록시를 핵심 설계로 삼아 모든 모델 백엔드를 그 경유점으로만 생성하게 하고, 각 호출을 17개 필드를 가진 행으로 남기며 실제 페이로드는 콘텐츠 주소화 저장소에 둔다. 설계는 요청·응답 해시, 토큰 수, 파이프라인 단계, 타임스탬프를 포함해 증거로 삼기 적절한 항목들을 보존하고, 이 항목들 자체를 정렬 키로 단일 해시로 묶어 식별자를 만들므로 동일 식별자 충돌은 기록 재작성의 신호로 작동한다. 호출 전 의도(intent) 행을 쓰고 성공 시 캡처로 전환하는 패턴을 넣어 기록이 전혀 생성되지 않은 호출을 탐지할 수 있게 만든 점은 증거 불완전성 검출을 기계적으로 보장하는 핵심 장치다.
근거
- halo-record라는 오픈소스 프로젝트가 있으며, SHA-256로 RFC 8785 canonical JSON을 체인화하고 RFC 3161 타임스탬프를 사용한다. — 저자가 우연히 발견한 오픈소스 프로젝트 설명 — 4,800줄의 파이썬 코드, 외부 증인과 체인 지문, LIMITS.md의 문구 인용.
실제 도입 과정에서 설계가 드러낸 한계와 버그들이 많았는데 그 사례들이 구체적으로 권한·프라이버시 문제와 문서화의 표류를 노출시켰다. 첫 설계는 콘텐츠 주소 버킷에 페이로드를 저장해 실무적으로 법적 특권(privilege) 문서를 경계 밖으로 복제할 위험을 만들었고 애널리스트 채팅의 초안적 내부 논의가 노출될 소지도 발견되어 채팅 페이로드는 해시만 기록하도록 변경했다. 또한 권한 최소화로 인해 존재 여부 확인 로직이 권한 오류를 '쓰기 실패'로 잘못 해석해 모든 캡처가 실패로 기록되는 인프라 버그가 실배포에서 드러났다.
현업에서 쓸 수 있는 외부 증명 수단은 점차 현실화되고 있으나 아직 보급은 제한적이며 공급자 대부분은 이 기능을 제공하지 않는다. 저자는 SCITT의 표준화 진전과 공개된 서명된 인퍼런스 영수증(signed per-inference receipts)을 예로 들며, 일부 소규모 공급자가 하드웨어 증명과 독립 검증자를 이용한 영수증을 이미 제공한다고 적시한다. 반면 Anthropic, OpenAI, Google, AWS 같은 주요 호스트형 공급자는 호출 수준의 서명·해시·증명을 제공하지 않고 OpenAI조차 시드와 백엔드 지문을 더 이상 노출하지 않는 방향으로 스펙을 축소해 왔다는 관찰을 제시한다.
저자가 최종적으로 권하는 실무적 규칙들은 명확하고 실행 가능하며 법정에서의 수용 가능성을 겨냥한다. 로그는 재현이 아니라 증명(attestation)임을 분명히 하고, 호출의 비결정성을 측정해 범위를 공개하며 의도 행을 먼저 쓰고 캡처 성공 여부를 원자적으로 전환해 미기록 호출을 '검증된 갭'으로 표기하라고 권한다. 또한 외부에 체인 헤드와 레코드 수 같은 최소한의 증거를 정기 전달하는 간단한 투명성 로그 패턴이 내부 재작성 시도를 탐지하는 비용 대비 효과적 수단임을 강조한다.
근거
- SCITT가 2026년 6월에 표준화 경로로 진행되어 투명성 로그 형식으로 사용 가능한 규격이 되었다. — 미해결 항목에서 SCITT가 2026년 6월에 standards-track RFC가 됐다는 기술적 진전 언급.
- 일부 소규모 업체가 하드웨어 기반 증명에 루트된 서명된 인퍼런스 영수증을 제공하지만 Anthropic, OpenAI, Google, AWS 같은 주요 공급자는 호출 수준의 서명이나 증명을 제공하지 않는다. — 불특정 두 회사가 이미 서명된 영수증을 제공한다는 서술과 대형 공급자들이 호출의 서명·해시·증명을 반환하지 않는다는 대조적 관찰.
용어 해설
- 출처증명(프로비넌스)(provenance)
- — 모델 호출에 사용된 입력과 산출이 어떤 원천 바이트에 닿는지를 추적하는 개념으로, 해시와 체인 방식으로 증거성을 확보해 누가 언제 어떤 바이트를 제공했는지를 보존하는 목적을 가진다.
- 결정적 추론 모드(deterministic mode)
- — 동일한 요청을 반복했을 때 비트 단위로 같은 출력을 보장하기 위해 배치 처리와 커널 수준에서 동작을 고정하는 설정으로, 처리량을 대폭 낮추는 비용·성능 트레이드오프가 따른다.
- 투명성 로그(transparency log)
- — 인퍼런스 기록을 외부에 정기적으로 제출해 체인 헤드와 레코드 수를 공개하는 방식으로 내부 기록 재작성 시도를 외부에서 탐지 가능하게 만드는 단순한 증거 제공 패턴이다.
- 의도 기록 행(intent row)
- — 모델 호출 전에 '의도' 상태를 먼저 기록하고, 호출 성공 시 같은 트랜잭션에서 캡처 행으로 상태를 전환해 호출이 전혀 기록되지 않은 경우(갭)를 검출할 수 있게 하는 구현 패턴이다.
- 서명된 인퍼런스 영수증(signed per-inference receipt)
- — 요청 해시와 응답 해시를 하드웨어 기반 증명 장치로 서명하고 독립 검증자와 테스트 벡터를 제공해 호출이 실제로 실행되었음을 외부에서 입증할 수 있도록 하는 증명 수단이다.
기술
- vLLM
- SGLang
- Anthropic Messages API
- OpenAI Responses API
- AWS Bedrock
- halo-record
- SCITT
- CloudTrail
활용 사례
- 법정 증거로 제출할 모델 보조 산출의 출처 증빙
- 조사 엔진에서 발견을 생성한 바이트로 추적 가능한 감사 로그 유지
- 컴플라이언스와 보존 명령에 대응하기 위한 호출 수준의 기록 보존
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 08. 11.수집 2026. 08. 11.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
