BFGS

함수의 최솟값을 찾기 위해 2차 미분값인 헤시안 행렬을 직접 계산하는 대신 이전 단계의 기울기 변화를 통해 이를 근사적으로 업데이트하는 Quasi-Newton 최적화 기법이다. 메모리 효율성과 수렴 속도가 뛰어나 대규모 파라미터 최적화 문제에 널리 쓰인다.