챕터별 상세
Ajay Joshi 교수와 Ciphersonic Labs 소개
Ajay Joshi 교수는 보스턴 대학교 교수이자 Ciphersonic Labs의 공동 창립자로 20년 이상 컴퓨팅 시스템을 설계했다. 그는 실리콘 포토닉스, GPU 아키텍처, 다양한 가속기 분야의 전문성을 바탕으로 데이터 보안과 프라이버시 문제를 해결해왔다. 최근에는 AI 모델 크기 증가에 따른 통신 및 메모리 용량 요구 사항 변화에 집중하고 있다.
GPU 아키텍처의 진화와 한계
AI 모델이 커지면서 GPU 간 직접 통신을 위한 NVLink와 같은 기술이 등장했다. 하지만 4개 이상의 GPU를 연결할 때 대역폭 공유로 인한 혼잡 현상이 발생하여 100% 성능을 활용하기 어렵다. Cerebras와 같은 웨이퍼 스케일 시스템은 메모리를 웨이퍼 위에 직접 배치하여 오프칩 통신 병목을 제거하는 대안을 제시했다.
NVLink는 NVIDIA GPU 간의 고속 상호 연결 기술로, CPU를 거치지 않고 GPU 간 데이터를 직접 주고받게 해준다.
완전 동형 암호(FHE)의 개념과 중요성
FHE는 데이터를 복호화하지 않고 암호화된 상태 그대로 연산을 수행하는 암호화 기법이다. 현재는 ChatGPT와 같은 서비스를 이용할 때 서버 측에서 데이터를 복호화해야 하므로 보안 취약점이 존재한다. FHE를 적용하면 LLM 서버가 데이터 내용을 알지 못해도 사용자의 질문에 답변할 수 있어 완벽한 프라이버시가 보장된다.
FHE 성능 혁신: 10만 배에서 2배 미만으로
1980년대에 발명된 FHE 수학 모델은 연산량이 너무 많아 기존 대비 10만 배(10^5)나 느린 성능 저하가 있었다. Ajay 교수팀은 연산 과정에서 발생하는 대규모 데이터 이동이 병목임을 파악하고 프리페칭 및 알고리즘 최적화를 적용했다. 그 결과 연산 오버헤드를 2배 미만으로 줄이는 데 성공하여 상용화 가능한 수준에 도달했다.
프리페칭(Prefetching)은 프로세서가 필요로 할 데이터를 미리 메모리에서 가져와 대기 시간을 줄이는 기술이다.
웨이퍼 스케일 아키텍처를 통한 FHE 가속
FHE 연산은 암호문(Ciphertext)의 크기가 수 메가바이트에 달해 메모리 대역폭이 매우 중요하다. Cerebras의 웨이퍼 스케일 엔진은 연산 유닛 바로 옆에 방대한 메모리를 배치하여 데이터 전송 지연을 최소화한다. 이러한 구조는 FHE 연산이 오프칩 메모리 접근을 위해 대기하는 시간을 없애 성능을 극대화한다.
AI 신뢰 문제와 제로 트러스트 생태계
많은 기업의 보안 책임자(CISO)들이 AI의 이점은 알지만 클라우드 환경에서의 데이터 유출을 우려하고 있다. 암호화 컴퓨팅은 공급망의 누구도 믿을 필요가 없는 제로 트러스트 환경을 구축한다. 이를 통해 프라이버시 타협 없이 AI의 가치를 온전히 추출할 수 있는 새로운 생태계가 형성될 것이다.
제로 트러스트(Zero Trust)는 '아무도 믿지 않는다'는 원칙하에 모든 접근 시도를 검증하는 보안 모델이다.
교육 현장에서의 AI 활용과 변화
학생들이 AI를 사용하여 과제를 수행하는 것에 대해 우려하기보다 AI를 도구로 잘 활용하도록 돕는 것이 중요하다. 과거 구글 검색이 등장했을 때와 마찬가지로 AI는 학습의 방식을 변화시키고 있다. Joshi 교수는 AI 생성물인지 확인하기 위해 구두 시험(Oral Exam)과 같은 대면 평가 비중을 높이는 방안을 논의 중이다.
용어 해설
- 완전 동형 암호(FHE)
- — 데이터를 복호화하지 않은 상태에서 연산을 수행할 수 있는 암호화 기술이다. 원본 데이터를 노출하지 않고도 AI 모델이 암호화된 질의를 처리하여 암호화된 결과를 반환하게 함으로써 데이터 프라이버시를 완벽하게 보호한다. 과거에는 연산 오버헤드가 매우 컸으나 최근 하드웨어 가속을 통해 실용화 단계에 진입했다.
- 웨이퍼 스케일 엔진(Wafer Scale Engine)
- — 단일 실리콘 웨이퍼 전체를 하나의 거대한 칩으로 만드는 아키텍처이다. 일반적인 GPU와 달리 칩 간 통신 병목 현상이 없으며 방대한 온칩 메모리를 제공한다. FHE와 같이 데이터 이동량이 많은 연산을 가속하는 데 최적화된 구조를 갖추고 있다.
- 메모리 대역폭 병목 현상(Memory Bandwidth Bottleneck)
- — 프로세서의 연산 속도에 비해 데이터를 공급하는 메모리의 속도가 느려 전체 성능이 저하되는 현상이다. AI 추론이나 암호화 연산은 대량의 데이터를 빈번하게 주고받아야 하므로 이 병목을 해결하는 것이 성능 향상의 핵심이다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 05. 01.수집 2026. 05. 01.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
