챕터별 상세
00:00
LLM 효율성과 재귀적 트랜스포머의 등장 배경
Scaling Law에 따라 파라미터 증가는 성능 향상을 가져오지만 메모리와 연산 비용의 급격한 상승을 초래한다. 이를 해결하기 위해 일부 레이어를 선택하여 반복 재사용하는 Recursive Transformer 방식이 제안되었다. 하지만 하나의 레이어가 서로 다른 깊이에서 다양한 역할을 수행해야 한다는 제약 때문에 성능 저하가 발생하는 한계가 있었다.
Scaling Law는 모델 크기와 데이터량이 늘어날수록 성능이 예측 가능하게 향상된다는 법칙이다.
05:10
Relaxed Recursive Transformer (RRT)의 제안
기존의 완전한 가중치 공유 방식에서 탈피하여 레이어별로 독립적인 LoRA 어댑터를 도입하는 Relaxed 구조를 적용했다. 블록 단위로 파라미터를 공유하되 각 반복 단계마다 LoRA를 통해 유연성을 부여함으로써 모델의 표현력을 높였다. 이 방식은 Gemma 2B 모델 실험에서 파라미터 수가 더 적음에도 불구하고 Gemma 1B 대비 월등한 성능을 기록했다.
09:38
LoRA 초기화를 위한 Truncated SVD 기법
일반적인 LoRA의 Zero initialization 대신 Truncated SVD를 활용한 초기화 방식을 도입했다. 원래 레이어와 재귀 블록 간의 가중치 차이(Delta)를 계산하고 이를 SVD로 분해하여 LoRA의 초기값으로 설정했다. 실험 결과 SVD 기반 초기화가 Zero initialization보다 더 빠른 수렴 속도와 높은 Few-shot 정확도를 보였다.
SVD(특잇값 분해)는 행렬을 세 개의 행렬 곱으로 분해하여 데이터의 특징을 추출하는 선형대수학 기법이다.
11:34
CDB와 Early-exiting을 결합한 추론 최적화
재귀적 구조의 연산 효율을 극대화하기 위해 Continuous Depth-wise Batching(CDB) 기법을 적용했다. 각 토큰이 서로 다른 반복 횟수에서 조기 종료(Early-exiting)될 수 있도록 스케줄링하여 배치 연산의 병렬성을 유지했다. 이를 통해 기존 방식 대비 처리량(Throughput)이 최대 2.66배 향상되는 결과를 얻었다.
배치 연산은 여러 데이터를 한꺼번에 처리하여 GPU 효율을 높이는 방식이다.
15:40
VLM 확장을 위한 Recursive Connector 구조
멀티모달 모델(VLM)에 재귀 구조를 적용할 때 발생하는 시각적 토큰과 텍스트 토큰 간의 피처 불일치 문제를 분석했다. 이를 해결하기 위해 각 루프 사이에 모달리티별 정보를 보정하는 Recursive Connector를 배치했다. Connector는 RMSNorm과 LoRA 구조를 포함하며 다음 루프의 입력 임베딩을 최적화하는 역할을 수행한다.
VLM(Vision Language Model)은 이미지와 텍스트를 동시에 이해하고 처리하는 모델이다.
18:20
Monotonic Recursion Loss와 학습 전략
재귀 단계가 진행될수록 성능이 반드시 향상되도록 강제하는 Monotonic Recursion Loss를 설계했다. 이전 단계보다 손실값이 커질 경우 추가적인 페널티를 부여하여 중간 레이어의 예측 성능을 보장했다. 이 전략은 특히 할루시네이션(Hallucination) 벤치마크에서 유의미한 성능 개선을 이끌어냈다.
할루시네이션은 모델이 사실과 다른 정보를 그럴듯하게 생성하는 현상이다.
20:30
실험 결과 및 결론
제안된 방법론은 다양한 벤치마크에서 기존의 Vanilla 모델이나 단순 Recursive 모델보다 높은 성능을 기록했다. 특히 파라미터 효율성뿐만 아니라 추론 속도 면에서도 큰 이점을 확인했다. 연구팀은 향후 기존 경량화 기법들과의 직접적인 비교 연구가 추가로 필요함을 한계점으로 언급하며 발표를 마무리했다.
용어 해설
- 재귀적 트랜스포머(Recursive Transformer)
- — 트랜스포머의 레이어를 새로 쌓는 대신 기존 레이어를 반복적으로 통과시켜 파라미터 수를 획기적으로 줄이는 아키텍처이다. 동일한 가중치를 여러 번 사용하여 모델의 크기를 경량화하면서도 연산의 깊이를 확보할 수 있는 장점이 있다.
- 저순위 적응(LoRA)
- — 전체 가중치 대신 저순위 분해 행렬 두 개만 학습시켜 파라미터 수를 줄이는 효율적인 파인튜닝 기법이다. 본 영상에서는 재귀적 구조의 경직성을 해결하기 위해 레이어별로 서로 다른 LoRA 어댑터를 적용하는 방식을 취한다.
- 조기 종료(Early-exiting)
- — 추론 과정에서 중간 레이어의 결과가 충분히 신뢰할 수 있다고 판단되면 나머지 연산을 생략하고 즉시 결과를 출력하는 기술이다. 이를 통해 불필요한 연산을 줄여 추론 속도를 높이고 자원을 절약할 수 있다.
- 절단된 특잇값 분해(Truncated SVD)
- — 행렬을 분해하여 가장 중요한 정보(특잇값)만 남기고 나머지는 제거하는 수치해석 기법이다. 본 연구에서는 기존 레이어와 재귀 블록 간의 차이를 LoRA 초기값으로 설정할 때 핵심 정보를 추출하기 위해 사용된다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 04. 15.수집 2026. 04. 15.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.