Eager Attention
Eager Attention
attention 가중치를 실제 행렬로 계산하고 보존하는 실행 방식입니다. SDPA나 FlashAttention은 가중치를 메모리에 materialize하지 않기 때문에 ModelMRI가 attention을 시각화하려면 `attn_implementation="eager"`를 사용해야 하며, 그 대신 실행 속도가 느려집니다.
Eager Attention
attention 가중치를 실제 행렬로 계산하고 보존하는 실행 방식입니다. SDPA나 FlashAttention은 가중치를 메모리에 materialize하지 않기 때문에 ModelMRI가 attention을 시각화하려면 `attn_implementation="eager"`를 사용해야 하며, 그 대신 실행 속도가 느려집니다.
