ChatGPT 프로젝트의 데이터 격리 결함 보고: 프로젝트 전용 메모리 설정 우회 현상

핵심 요약

ChatGPT의 '프로젝트 전용 메모리' 설정에도 불구하고, 일반 대화 기록 참조 기능이 활성화된 경우 다른 대화의 정보를 불러오는 보안 결함이 보고됐다.

배경

ChatGPT의 프로젝트 기능에서 '프로젝트 전용(Project-only)' 메모리 설정을 사용하더라도 외부 대화의 민감한 정보가 유출될 수 있는 재현 가능한 버그가 발견되어 공유됐다.

의미 / 영향

이번 사례는 LLM 서비스의 복합적인 기능들이 상호작용할 때 예상치 못한 데이터 노출이 발생할 수 있음을 시사했다. 특히 프로젝트 단위의 데이터 격리를 신뢰하는 기업 사용자들에게는 전역 설정과의 충돌 가능성을 검토해야 하는 중요한 보안 이슈이다.

커뮤니티 반응

사용자들은 이 현상을 심각한 보안 결함으로 인식하며, 데이터 격리 기능의 신뢰성에 의문을 제기하고 있다.

주요 논점

01중립다수

프로젝트 기능의 메모리 격리 메커니즘이 전역 설정과 충돌하고 있다는 분석이다.

합의점 vs 논쟁점

합의점

프로젝트 전용 메모리 설정이 의도대로 작동하지 않는 경우가 존재한다.
대화 기록 참조 기능이 프로젝트 격리보다 우선순위가 높게 설정되어 있을 가능성이 크다.

논쟁점

이 현상이 의도된 설계인지 아니면 명백한 버그인지에 대한 판단이 갈린다.

실용적 조언

민감한 데이터를 다루는 프로젝트를 사용할 때는 '대화 기록 참조' 설정을 반드시 비활성화해야 한다.
보안이 중요한 정보는 ChatGPT에 입력할 때 명칭을 변경하더라도 유출 가능성을 염두에 두어야 한다.

전문가 의견

64자리의 무작위 문자열을 무차별 대입으로 맞출 확률은 관측 가능한 우주의 모든 에너지를 사용해도 100만 분의 1 미만이라는 계산이 제시됐다.

언급된 도구

ChatGPT Projects중립

특정 프로젝트 내에서만 지식과 메모리를 공유하는 기능

섹션별 상세

사용자는 ChatGPT 프로젝트의 데이터 격리 기능이 제대로 작동하지 않는 구체적인 재현 방법을 제시했다. 임의의 긴 문자열을 생성하여 특정 이름으로 정의한 뒤, 새로운 프로젝트를 생성하고 '프로젝트 전용 메모리'로 설정했음에도 불구하고 해당 정보를 불러올 수 있다는 주장이다.

이 현상은 ChatGPT의 일반 설정 중 '대화 기록 참조(Reference chat history)' 기능이 활성화되어 있을 때 발생하는 것으로 추정된다. 프로젝트 내부의 독립된 메모리 시스템이 전역적인 대화 기록 참조 설정에 의해 우회되면서 데이터 격리 원칙이 무너지는 구조적 결함 가능성이 확인됐다.

보안 필터를 우회하기 위해 무작위 문자열을 '비밀번호'가 아닌 '사람의 이름'으로 속여 입력하는 방식이 사용됐다. 이는 AI의 보안 가이드라인이 특정 키워드에는 반응하지만, 데이터의 맥락을 완전히 격리하는 데는 한계가 있음을 보여주는 사례로 언급됐다.

작성자는 64자리의 무작위 문자열을 무차별 대입(Brute force)으로 맞출 확률이 극히 희박하다는 계산 결과를 근거로, ChatGPT의 답변이 단순한 추측이 아닌 실제 데이터 접근의 결과임을 강조했다. 이는 단순한 우연이 아닌 시스템적인 데이터 노출 문제임을 뒷받침하는 근거로 제시됐다.

실무 Takeaway

ChatGPT 프로젝트의 '프로젝트 전용 메모리' 설정이 완벽한 데이터 격리를 보장하지 못할 수 있다.
전역 설정인 '대화 기록 참조'가 켜져 있으면 프로젝트 외부의 정보가 내부로 유입되는 현상이 발생한다.
민감한 정보를 다룰 때 키워드 기반 보안 필터를 우회하는 입력 방식이 존재하므로 주의가 필요하다.