Split-LLM Training
Split-LLM 학습
Split-LLM 학습은 모델과 데이터를 여러 노드에 나누어 처리하는 분산 학습 방식입니다. 이 논문에서는 Trusted Local Node가 보호된 activation을 Untrusted Cloud Node로 보내고, 클라우드가 반환한 출력의 gradient를 다시 로컬 노드로 전달합니다. 데이터와 loss를 로컬에 남길 수 있지만, 반환 gradient 자체가 입력 구조를 노출할 수 있다는 점이 핵심입니다.
