representation-alignment
서로 다른 AI 모델들이 데이터를 내부적으로 처리할 때 형성하는 벡터 공간의 구조가 유사해지는 현상이다. 성능이 뛰어난 모델일수록 데이터의 본질적인 특징을 유사하게 파악한다는 것을 의미한다.
메타의 AI 커널 자동 설계로 성능 17배 향상, 분산 학습은 매년 20배 성장 중