tfb-mb-ratio
TFLOPs 대 메모리 대역폭 비율
하드웨어가 제공하는 연산 성능(TFLOPs)과 메모리 전송 능력 간의 비율로, 어떤 연산이 병목인지 판단하는 결정 요인이다. Trainium에서는 이 비율이 기존 가속기와 달라 일부 연산이 메모리 바운드에서 계산 바운드로 전환된다. 결과적으로 모델 설계자는 더 많은 연산을 희생해 메모리 전송을 줄이는 전략을 고려해야 한다.
TFLOPs 대 메모리 대역폭 비율
하드웨어가 제공하는 연산 성능(TFLOPs)과 메모리 전송 능력 간의 비율로, 어떤 연산이 병목인지 판단하는 결정 요인이다. Trainium에서는 이 비율이 기존 가속기와 달라 일부 연산이 메모리 바운드에서 계산 바운드로 전환된다. 결과적으로 모델 설계자는 더 많은 연산을 희생해 메모리 전송을 줄이는 전략을 고려해야 한다.
