LLaDA2.2 실험으로 본 확산 모델과 자기회귀 모델의 성능·속도 비교와 한계

커뮤니티 반응은 비교적 현실적·비판적이었다. 다수는 동일 실험실 비교가 의미 있다고 평가했고 일부는 에이전트 루프에서의 속도 이득을 흥미로운 관찰로 받아들였다. 동시에 대다수는 구조화된 출력 품질 저하와 큰 모델 파일·미성숙한 서빙 지원으로 인해 당장 확산 모델이 주류를 대체하기는 어렵다는 회의적 입장을 보였다.

• 에이전트 루프처럼 매 턴 추론 지연이 누적 비용에 직접 연결되는 애플리케이션에서는 확산 계열 모델을 후보군에 넣어 지연·처리량 측정을 우선적으로 수행해야 한다. 동일 품질 대역에서 처리량 이득이 확인된다면 speculative decoding과 BF16과 같은 실행 설정을 함께 시험해 보는 것이 실측상 유리하다. 반대로 구조화된 출력 정확도와 재현성, 운영상 서빙 지원이 중요하다면 현재로서는 자기회귀 기준선을 우선 고려하는 편이 안전하다.

Parallel Denoising

— 입력된 잡음화된 토큰 블록을 병렬로 복원하는 생성 방식으로, 각 블록에서 다수의 토큰을 동시에 갱신하거나 삽입·삭제를 수행해 순차적 결정(commit)을 피한다. 이 방식은 토큰을 한 번 확정하지 않고 여러 번 수정하면서 전체 문장 품질을 향상시키며, 특히 각 디코딩 단계에서 병렬 연산을 활용해 처리량을 높이는 데 유리하다. 본문에서는 이러한 병렬 디노이징이 에이전트 루프에서 지연을 줄이며 속도 우위를 만든 핵심 메커니즘으로 등장한다.

Speculative Decoding

— 추정 기반의 보조 디코더를 먼저 실행해 후보 토큰들을 빠르게 생성한 뒤 이를 기반으로 정밀한 디코더가 병렬적으로 처리해야 할 작업을 줄이는 기법으로, 전체 디코딩 지연을 낮추는 데 초점을 둔다. 본문에서는 BF16 설정에서 이 기법을 켠 상태로 측정한 처리량 이득이 보고되어 실험 결과 해석에 중요한 역할을 한다. 대규모 모델의 실서비스 환경에서 처리량과 지연의 균형을 맞출 때 적용 가능한 최적화 수단으로 언급되었다.

Agent Loop

— 대화형 에이전트가 사용자와의 다중 턴 상호작용에서 매 턴마다 모델 추론을 호출하고 도구 호출이나 상태 업데이트를 반복하는 운영 패턴으로, 각 턴의 디코딩 지연이 누적 비용과 사용자 체감 성능에 직접적으로 영향을 미친다. 본문에서는 에이전트 루프 특유의 '매 턴 디코딩 지연'이 확산 모델의 상대적 장점을 만드는 상황으로 분석되었다. 에이전트 애플리케이션에서 모델 선택은 단순 정확도뿐 아니라 턴당 지연과 처리량 고려가 필수임을 시사한다.

Structured Output

— 정형화된 포맷(예: JSON, 함수 호출 인터페이스, 도구 호출 스키마)으로 결과를 생성해야 하는 상황을 말하며, 생성 모델은 토큰 시퀀스 수준에서 포맷 제약을 정확히 맞춰야 한다. 본문에서는 확산 기반 모델이 같은 연구실의 자기회귀 기준선보다 구조화된 출력 정확도가 낮다고 저자가 인정한 점이 성능 비교의 제약으로 지적되었다. 구조화된 출력은 실무 도구 통합에서 재현성·정확성 문제로 이어질 수 있다.