하이퍼네트워크
하이퍼네트워크는 다른 신경망의 가중치를 생성하는 역할을 수행하는 별도의 신경망 구조이다. 모델을 직접 학습시키는 대신 입력 데이터에 맞춰 최적의 파라미터를 즉석에서 도출함으로써 실시간에 가까운 모델 맞춤화를 가능하게 한다.
OpenAI 1,100억 달러 펀딩 달성과 Sakana AI의 혁신적 LoRA 생성 기술
12GB 메모리를 50MB로? Sakana AI의 혁신적 LLM 최적화 기법