massive-emergence-layer

ME Layer는 모델의 중간 계층에서 대량 활성화가 처음으로 Emergence하는 특정 Transformer Layer를 지칭한다. 이후 잔여 연결(residual connections)을 통해 더 깊은 층으로 확산된다.