flexattention
FlexAttention
FlexAttention은 블록-대각 마스크 등 유연한 어텐션 패턴을 허용하는 메커니즘으로, 서로 독립적인 드래프트 블록이 조건 히든 상태와 같은 블록 내 마스크 토큰에만 주의를 기울이도록 제어한다. DFlash 훈련에서 여러 블록을 하나의 전달로 묶어 학습할 때 블록 간 독립성을 보장하는 역할을 한다. 이로 인해 병렬 블록 예측의 학습 효율과 안정성이 확보된다.
FlexAttention
FlexAttention은 블록-대각 마스크 등 유연한 어텐션 패턴을 허용하는 메커니즘으로, 서로 독립적인 드래프트 블록이 조건 히든 상태와 같은 블록 내 마스크 토큰에만 주의를 기울이도록 제어한다. DFlash 훈련에서 여러 블록을 하나의 전달로 묶어 학습할 때 블록 간 독립성을 보장하는 역할을 한다. 이로 인해 병렬 블록 예측의 학습 효율과 안정성이 확보된다.
