arg min blog

Jensen Huang의 공개 LLM 지지 서한에 업계가 호응했고 저자는 미국이 오픈 웨이트와 공개 코퍼스에 대규모 투자를 촉구했다.

LLM이 상관관계 데이터를 기반으로 그럴듯한 설명을 생성하며, 이를 통해 추상적 개념을 실재로 착각하게 만드는 '자동화된 사물화' 과정을 비판적으로 분석한다.

컴퓨터 과학, 소프트웨어, 조직 구조 전반에 걸쳐 복잡성을 관리하고 혁신을 가능하게 하는 계층적 아키텍처와 프로토콜의 설계 원칙을 탐구합니다.

현대 로봇 공학의 핵심인 Sim2Real 파이프라인의 역사적 뿌리를 짚어보고, 시뮬레이션 모델의 정확도와 강건성 사이의 기술적 난제를 분석합니다.

시뮬레이션을 단순한 예측이 아닌 '반사실적 시나리오를 평가하여 시스템을 이해하고 제어 전략을 세우는 목적 지향적 과정'으로 정의하며 AI와 제어 공학의 접점을 탐구한다.

예측의 정확도는 도메인 지식보다 평가 지표를 고려한 전략적 회계(Bookkeeping)와 일반화된 교정 기법을 통해 기계적으로 달성될 수 있다.

LLM을 활용한 '실리콘 샘플링'의 부상을 통해 시뮬레이션과 예측의 본질적 차이와 현대 여론 조사 산업의 통계적 의존성을 분석한다.

적대적 후회(Adversarial Regret) 개념을 활용해 온라인 학습, 확률적 최적화, 반복 게임의 수렴성을 증명하는 핵심 기법을 기술한다.

순차적 의사결정 및 밴딧 알고리즘에서 성능 평가의 핵심 지표인 '후회(Regret)'의 개념과 필요성을 반사실적 시나리오를 통해 정의한다.

알고리즘 의사결정을 의사결정자와 환경 간의 게임으로 정의하고, 피드백을 통한 최적화의 가능성과 시스템적 한계를 탐구한다.

대형 언어 모델(LLM)을 복잡한 사회적·계약적 관계를 단순화하여 은폐하는 '관료적 기술'이자 '조립된 추상화(coarse graining)'로 정의하고 그 위험성을 분석한다.

LLM을 인류의 문화적 관습과 전통을 기계적으로 재현하는 '기계화된 지성'으로 정의하며, 인간과 AI 모두 '인간 저자'라는 라벨에 편향됨을 실험으로 입증한다.

제어 공학에서 시스템 식별의 역할과 모델 복잡성 사이의 균형, 그리고 피드백이 모델 불확실성을 극복하는 메커니즘을 탐구한다.

머신러닝의 본질인 '예측'과 이를 검증하는 '벤치마킹' 문화가 어떻게 기술 발전을 이끌었으며, 최근 LLM 시대에 이르러 어떻게 변화하고 있는지 분석한다.

20세기 초 영양학자들이 쥐의 정상 성장 곡선을 베이스라인으로 활용하여 필수 아미노산과 비타민 A를 발견한 데이터 과학적 실험 방법론을 다룹니다.

과학의 재현성 위기가 역사적으로 반복되어 온 현상임을 지적하며, 통계학 정립 이전 비타민 발견 사례를 통해 과학적 발견의 본질을 탐구한다.

머신러닝의 정책 최적화와 제어 이론의 최적 제어를 비교하며, 상태 정의와 동적 계획법을 통한 최적 피드백 정책 수립의 원리와 한계를 고찰한다.

LLM을 활용한 대규모 논문 분석이 메타과학 연구를 가속화하고 있으나, 현실과 동떨어진 통계 모델에 기반한 분석은 과학적 타당성을 보장하지 못한다는 비판이다.

PID 제어의 기본 원리를 바탕으로 경사 하강법과 같은 최적화 알고리즘이 제어 이론의 관점에서 어떻게 해석되고 분석될 수 있는지 설명한다.

코딩 에이전트는 복잡한 LLM과 단순한 규칙 기반 소프트웨어가 피드백 루프를 통해 결합되어 실질적인 작업을 수행하는 시스템이다.

제어 이론의 핵심인 안정성을 생물학적 항상성 개념으로 재해석하고, 리아푸노프 방법과 선형화를 통해 시스템이 설정값을 유지하는 수학적 원리를 설명한다.

동적 시스템의 안정성을 증명하기 위해 선형화 근사 대신 에너지 소산 개념을 활용하는 리아푸노프의 전위 함수 방법과 그 확장성을 다룬다.

제어 이론에서 피드백을 단순한 사후 교정이 아닌 시스템 간의 상호 연결이라는 대수적 관점으로 정의하고, 이를 통해 미지의 시스템을 견고하게 제어하는 원리를 서술한다.

제어 이론의 피드백, 안정성, PID 제어 개념을 머신러닝의 최적화 및 일반화 원리와 연결하여 시스템의 학습과 적응을 다루는 강의 계획서이다.