베이지안 최적화를 통한 효율적이고 원칙적인 과학적 발견: 튜토리얼

전통적인 과학 실험은 수많은 시도와 실패를 반복하는 고비용 과정이다. 이 논문은 AI가 지금까지의 실험 결과를 학습해 '다음에 어떤 실험을 해야 가장 효과적일지'를 수학적으로 추천해주는 베이지안 최적화 기술을 체계적으로 정리하여, 연구자가 최소한의 실험만으로도 신소재나 신약을 빠르게 발견할 수 있도록 돕는다.

과학 실험은 입력(실험 조건)에 따른 출력(결과)을 확인하는 과정이지만, 그 내부 메커니즘을 정확히 알 수 없는 '블랙박스'와 같다. 기존에는 연구자의 직관에 의존해 수많은 조합을 일일이 테스트해야 했으며, 이는 마치 안개 속에서 가장 높은 산봉우리를 찾는 것과 같이 비효율적이었다.

베이지안 최적화는 '대리 모델(Surrogate Model)'을 사용해 이 안개를 걷어낸다. 가우시안 프로세스(Gaussian Process)와 같은 모델은 지금까지의 실험 데이터를 바탕으로 가보지 않은 지점의 결과값과 그에 대한 '불확실성'을 확률적으로 예측한다. 즉, 단순히 결과만 예상하는 것이 아니라 "이 지점은 결과가 좋을 것 같지만, 아직 데이터가 부족해 확신할 수 없다"는 정보까지 제공한다.

이렇게 얻은 예측값과 불확실성을 '획득 함수(Acquisition Function)'에 입력하여 다음 실험 지점을 결정한다. 이미 잘 알려진 유망한 지점을 더 정밀하게 조사할지(활용), 아니면 전혀 모르는 새로운 영역을 탐험할지(탐색) 수학적으로 계산하여 실험 효율을 극대화한다. 결과적으로 무작위 실험 대비 훨씬 적은 횟수로 최적의 조건을 찾아낼 수 있다.

전체 워크플로우는 초기 데이터 수집, 대리 모델 학습, 획득 함수 최적화, 실제 실험 수행 및 데이터 업데이트의 반복 루프로 구성된다. [실험 조건 x → 블랙박스 함수 f(x) → 결과 y]의 과정을 거치며, f(x)를 근사하는 확률 모델을 구축하는 것이 핵심이다.

대리 모델로는 주로 가우시안 프로세스(GP)를 사용한다. GP는 평균 함수와 커널 함수를 통해 함수 공간의 분포를 정의한다. [데이터 포인트 간의 거리를 입력으로] → [커널 함수를 통해 공분산 행렬을 생성하는 연산을 수행해] → [데이터 간의 상관관계를 얻고] → [이 값이 클수록 두 실험 조건의 결과가 비슷할 것으로 예측된다는 의미이다.]

획득 함수는 GP의 출력을 바탕으로 다음 실험의 효용을 계산한다. 예를 들어 Upper Confidence Bound(UCB)는 [예측 평균값과 불확실성을 입력으로] → [평균에 표준편차의 가중치 배수를 더하는 연산을 수행해] → [최종 획득 점수를 얻고] → [이 점수가 가장 높은 지점을 다음 실험 후보로 선정한다.]

HEBO(Heteroscedastic Evolutionary BO)와 같은 고급 기법은 입력/출력 변환(Warping)을 통해 데이터의 비정상성을 처리한다. [원래 데이터 → 비선형 변환 → 정규 분포화] 과정을 거쳐 모델의 예측 정확도를 높이고, MACE와 같은 다중 목적 획득 함수를 사용하여 탐색과 활용의 균형을 더욱 정교하게 맞춘다.

5가지 과학적 사례 연구에서 베이지안 최적화는 무작위 탐색(Random Search) 대비 압도적인 성능을 보였다. 특히 광촉매 HER 설계 과제에서는 200회 실험 후 Regret 수치가 무작위 탐색(21.8) 대비 BO(9.7)로 현저히 낮게 나타났다.

고엔트로피 합금(HEA) 나노자임 포뮬레이션 과제에서도 BO는 Regret 155를 기록하여 무작위 탐색(244)보다 훨씬 우수한 최적화 성능을 입증했다. 이는 복잡한 제약 조건이 있는 심플렉스(Simplex) 디자인 공간에서도 BO가 효율적으로 작동함을 보여준다.

HEBO 프레임워크는 표준 GP-UCB 방식보다도 빠른 수렴 속도를 보였다. OER 전기촉매 설계 과제에서 표준 BO는 무작위 탐색보다 성능이 낮았으나(252 mV vs 245 mV), HEBO는 219 mV까지 과전압을 낮추는 데 성공했다. 이는 이분산 노이즈와 비정상적 특성을 가진 실제 데이터에서 고급 BO 기법의 중요성을 시사한다.

연구를 위해 과학적 발견을 $x^* = \arg\max_{x \in \mathcal{X}} r(x, \mathcal{M}^*(x))$ 형태의 최적화 문제로 정식화했다. 여기서 $\mathcal{M}^*$은 자연의 메커니즘을 나타내는 블랙박스 함수이며, $r$은 보상 함수이다.

가우시안 프로세스의 수학적 기반을 상세히 다룬다. 특히 커널 함수(Squared Exponential, Matern 등)가 데이터의 매끄러움(Smoothness) 가정을 어떻게 인코딩하는지 설명하며, 주변 우도 최대화(Marginal Likelihood Maximization)를 통한 하이퍼파라미터 최적화 과정을 포함한다.

획득 함수의 이론적 배경으로 베이지안 결정 이론(Bayesian Decision Theory)을 제시한다. 기대 효용(Expected Utility) 극대화 관점에서 EI, PI, UCB의 유도 과정을 설명하고, 1단계 앞만 내다보는 Myopic 전략의 한계와 Non-myopic 전략의 가능성을 논의한다.

실제 구현을 위해 Scikit-Learn과 GPyTorch 라이브러리를 활용한 코드 구조를 제안한다. 특히 분자 구조와 같은 비수치적 데이터를 처리하기 위해 RDKit을 이용한 Descriptor 추출 및 전처리 레이어 삽입 방식을 상세히 기술했다.

가우시안 프로세스의 계산 복잡도가 데이터 수 $n$의 세제곱($O(n^3)$)에 비례하여 대규모 데이터셋(약 1,000개 이상) 적용 시 성능 저하가 발생할 수 있다. 또한, 범주형 변수나 복잡한 제약 조건이 있는 공간에서는 커널 설계와 전처리에 고도의 전문 지식이 요구된다.