attention-cascade
어텐션 캐스케이드
여러 계층의 어텐션 행렬이 특정 비율로 신호를 전달하면서 점진적으로 축약되는 패턴을 의미하며, 이 글에서는 각 레이어의 어텐션이 1/2, 1/4, 1/8 비율로 감쇠하는 이론적 예측과의 일치성이 관찰됐다. 관찰된 캐스케이드는 모델의 정보 흐름과 추론 단계별 기여를 정량화하는 근거로 사용됐다. 어텐션의 분포 차이는 '생각하는' 텍스트와 출력 텍스트 사이의 서명 차이로 연결됐다.
중급
어텐션 캐스케이드
여러 계층의 어텐션 행렬이 특정 비율로 신호를 전달하면서 점진적으로 축약되는 패턴을 의미하며, 이 글에서는 각 레이어의 어텐션이 1/2, 1/4, 1/8 비율로 감쇠하는 이론적 예측과의 일치성이 관찰됐다. 관찰된 캐스케이드는 모델의 정보 흐름과 추론 단계별 기여를 정량화하는 근거로 사용됐다. 어텐션의 분포 차이는 '생각하는' 텍스트와 출력 텍스트 사이의 서명 차이로 연결됐다.
