스테파노 에르몬과 함께하는 프로덕션급 Diffusion LLM 경쟁

섹션별 상세

00:00

Diffusion 모델의 기원과 이미지 생성의 혁신

스테파노 에르몬은 2014년 당시 불안정했던 GAN의 대안으로 2019년부터 Diffusion 모델 연구를 시작했다. Diffusion 모델은 이미지에 노이즈를 추가한 뒤 이를 단계적으로 제거하는 Denoising 과정을 학습하며, 추론 시에는 순수 노이즈에서 시작해 고해상도 이미지를 생성한다. 이 방식은 학습 시에는 단일 네트워크 평가만 필요해 비용이 저렴하면서도, 추론 시에는 깊은 계산 그래프를 통해 강력한 성능을 발휘한다. 결과적으로 Stable Diffusion과 Midjourney 같은 모델들이 이 아키텍처를 채택하며 이미지 생성 분야를 완전히 장악했다.

GAN(Generative Adversarial Networks)은 두 개의 네트워크가 경쟁하며 학습하는 구조로, 학습 과정이 매우 불안정하다는 단점이 있었다.

08:40

텍스트를 위한 Diffusion - 이산 공간의 도전 과제

이미지는 픽셀 값이 연속적이지만 텍스트는 단어 단위의 이산적(Discrete) 공간에 존재하여 Diffusion 적용이 까다롭다. 이미지에서는 픽셀 값을 조금 바꿔도 의미가 크게 변하지 않지만, 텍스트는 두 단어 사이의 '중간 의미'라는 개념이 존재하지 않기 때문이다. 에르몬의 연구실은 토큰 마스킹과 같은 특수한 노이즈 프로세스 수학 모델을 개발하여 이 문제를 해결했다. 이를 통해 GPT-2 규모에서 기존 Autoregressive 모델과 대등한 텍스트 품질을 유지하면서도 추론 속도를 10배 향상시키는 데 성공했다.

이산 공간(Discrete Space)은 데이터가 연속적이지 않고 독립된 점들로 이루어진 공간을 의미하며, 텍스트의 토큰들이 대표적인 예이다.

14:30

Mercury 2 - 상용 수준의 Diffusion LLM 탄생

스타트업 Inception은 연구실 수준의 성과를 넘어 상용 규모의 Diffusion LLM인 Mercury 2를 출시했다. Mercury 2는 더 많은 데이터와 대규모 파라미터를 학습하여 OpenAI의 GPT-4o mini나 Haiku 같은 속도 최적화 모델들과 대등한 품질을 보여준다. 특히 추론 시 병렬 처리가 가능한 Diffusion의 특성을 활용해 기존 모델 대비 5-10배 빠른 응답 속도를 제공한다. 이는 지연 시간에 민감한 실시간 AI 애플리케이션 개발자들에게 비용 효율적이고 강력한 대안이 된다.

Mercury 2는 Inception에서 개발한 최신 Diffusion 기반 언어 모델로, 실시간 성능에 초점을 맞추고 있다.

주목할 인용

“Diffusion language models scale better than autoregressive models at inference time. They're cheaper to serve, they're faster, you get more tokens per GPU.”
Diffusion 언어 모델은 추론 시 Autoregressive 모델보다 확장이 더 잘 됩니다. 서빙 비용이 더 저렴하고 더 빠르며, GPU당 더 많은 토큰을 얻을 수 있습니다.
Stefano Ermon·00:51
Diffusion 모델이 기존 LLM 아키텍처보다 경제적이고 효율적인 이유를 설명하며.

“In the context of text and code, everything is very discrete, so it's not obvious how you get the mathematics that were developed for continuous spaces to translate immediately to discrete spaces.”
텍스트와 코드의 맥락에서는 모든 것이 매우 이산적입니다. 따라서 연속 공간을 위해 개발된 수학을 이산 공간으로 즉시 변환하는 방법은 명확하지 않았습니다.
Stefano Ermon·10:28
이미지용 Diffusion 기술을 텍스트에 적용할 때 직면했던 가장 큰 기술적 난관을 언급하며.